Big Data: Вся палитра платформ

Николай Местер: «Развитие платформ для работы с данными происходит в двух направлениях. Первое предусматривает создание в ЦОД вертикально масштабируемых решений, второе опирается на распределенные, облачные вычисления»


На форуме Big Data 2015 был представлен широкий спектр платформенных решений для работы с Большими Данными

17:25 31.03.2015   |   3603 |  Алексей Есауленко |  Computerworld Россия

Рубрика Технологии



В рамках форума Big Data 2015, организованного издательством «Открытые системы», был представлен набор платформенных решений, охватывающих различные элементы и уровни инфраструктуры ЦОД, в том числе системы хранения, коммуникационные решения, элементная база для них, а также специализированное программное обеспечение и сервисы для работы с Большими Данными.

Директор дивизиона EMC Isilon в России и странах СНГ Святослав Сухов рассказал о преимуществах горизонтально масштабируемой сетевой системы хранения EMC Isilon, которая является одним из главных элементов новой платформы Federation Business Data Lake для работы с Большими Данными.

Isilon действует на основе операционной системы OneFS, объединяющей три типа классических архитектур систем хранения — файловую систему, диспетчер томов и решение для защиты данных — в одном унифицированном блоке программного обеспечения. Такая комплексная интеллектуальная файловая система охватывает все узлы в кластере, которые можно построить на базе Isilon. В OneFS также реализована интегрированная поддержка стандартных отраслевых протоколов, встроенная поддержка Hadoop и интеграция с VMware для упрощения администрирования функций хранения в виртуализованной среде.

По словам Сухова, сейчас Isilon – одно из наиболее интересных решений для российских предприятий, осваивающих технологии Больших Данных. Создав масштабируемый кластер на базе Isilon, заказчик получает единый пул высокоэффективных ресурсов хранения, а это позволяет значительно сэкономить пространство в ЦОД, необходимое для размещения систем хранения, и за счет этого снизить капитальные и операционные затраты.

Старший системный инженер компании Infinera Дмитрий Шемякин представил платформенное решение для коммуникационного обеспечения инфраструктуры ЦОД и задач обработки Больших Данных.

Он утверждает, что и сейчас, и в обозримой перспективе оптические сети будут основой и наиболее эффективным инструментом для формирования сетевой инфраструктуры дата-центров.

Решение Infinera базируется на концепции «оптической интеграции». Ее ключевым элементом является интегральная схема Photonic Integrated Circuit, на которой совмещены десятки сложных оптических компонентов.

«Такой подход позволяет решить сразу несколько проблем — повысить надежность системы, уменьшить ее габариты и снизить энергопотребление», — пояснил Шемякин.

Технология оптической интеграции разработана более 10 лет назад, но она настолько эффективна, что может и сейчас обеспечить снижение операционных издержек ЦОД на 60% (в части коммуникационного обеспечения), утверждают в Infinera. На базе средств оптической интеграции можно очень быстро развертывать «оптические суперканалы», которые в одном оптоволокне обеспечивают терабитную емкость, что очень важно при организации обмена большими объемами данных при их распределенной обработке.

Николай Местер, директор по развитию корпоративных проектов Intel, рассказал о процессорных продуктах корпорации для создания платформ, ориентированных на задачи обработки Больших Данных. Он отметил, что сейчас развитие таких платформ происходит в двух направлениях, и для каждого из них Intel предлагает собственную элементную базу.

Первое направление предусматривает создание в ЦОД вертикально масштабируемых решений, аккумулирующих данные в одном месте. Такие решения относятся к классу in-memory — они постоянно хранят данные в оперативной памяти. А их развитие осуществляется просто — по мере роста объема данных увеличивается мощность и количество процессоров, памяти, наращивается канальная емкость передающих систем. Для таких платформ Intel предлагает использовать процессоры Xeon, прежде всего их старшую версию E7. В каждом из таких процессоров содержится 15 ядер, и они поддерживают до 12 Тбайт памяти.

Второе направление связано в распределенными, по сути, облачными вычислениями. Под соответствующие платформы у Intel тоже есть специализированные решения, например анонсированный недавно процессор Xeon D.

«Этот процессор объединяет в себе функции вычисления, коммуникаций и ввода-вывода. На его основе можно строить высокоэффективные и недорогие горизонтально масштабируемые платформы для распределенной обработки Больших Данных», — утверждает Местер.

Иван Косяков, архитектор аналитических систем Microsoft, представил на форуме Azure Learning – облачный сервис машинного обучения, на базе которого можно легко создавать и разворачивать решения для анализа Больших Данных.

«Этот сервис имеет библиотеку ‘образцов экспериментов’ и преднастроенных алгоритмов Microsoft, позволяющих значительно сократить время развертывания прогнозных моделей развития бизнеса», — сообщил Косяков.

На простом примере он показал, как компания, обслуживающая сеть торговых автоматов, может повысить эффективность бизнес-операций за счет обработки данных с сенсоров, установленных в этих автоматах. Загрузив накопленные данные в облачный сервис Microsoft, можно в сжатые сроки построить прогноз спроса на товары в автоматах и предсказать возникновение в них неисправностей.


Теги: Статьи Intel Большие данные EMC in_bigdata Big Data 2015 Infinera
На ту же тему: