Hadoop приходит на предприятия

Cloudera расширяет возможности своего коммерческого инструментария

14:58 05.07.2010   |  Джоаб Джексон |  Служба новостей IDG, Нью-Йорк

Рубрика Предприятие |   429 прочтений



 

Компания Cloudera представила новый набор инструментов управления платформой Hadoop, предназначенной для создания распределенных приложений. Инструментарий Cloudera Enterprise будет распространяться по годовой подписке. Кроме того, компания обновила распространяемый ею дистрибутив Hadoop с открытым кодом.

Появление новых версий, равно как и подписание нескольких партнерских соглашений с разработчиками программного обеспечения, показало, что компания делает ставку на перспективные подходы к управлению базами данных, используемые гигантами веб-отрасли типа Google и Yahoo, и намерена предлагать их корпоративным клиентам в качестве альтернативы реляционным СУБД.

"Готов поспорить, что потребность в консолидированном анализе как структурированных, так и неструктурированных данных вскоре ощутят не только крупные веб-проекты, но и банки, медицинские центры и страховые компании, — заявил Майк Олсон, генеральный директор Cloudera Майк Олсон. — И Hadoop поможет им в этом. Наши технологии позволят решать новые задачи новыми  методами".

Как и ряд других новых СУБД, не поддерживающих язык SQL, Hadoop базируется на технологии Google MapReduce, предназначенной для организации параллельной обработки данных на большом количестве компьютеров массовых конфигураций. Платформа Hadoop, развиваемая в качестве проекта категории Open Source под эгидой Apache Software Foundation, является альтернативой традиционным реляционным СУБД и хорошо подходит для анализа крупных и быстро меняющихся наборов данных.

"Обработка информации может осуществляться как при помощи SQL-запросов, так и без их использования, — пояснил Олсон. — По сравнению с реляционными СУБД наши технологии демонстрируют более высокую устойчивость к серверным сбоям".

Дистрибутив Hadoop и новый инструментарий в Cloudera адресуют организациям небольшого размера. Предполагается, что начать работу с ними можно, не имея глубоких познаний в Hadoop. "Есть мнение, что технологии Hadoop используются лишь для обработки массивов информации, объемы которой соответствуют масштабу Google, — заметил Олсон. — Однако в мире довольно много пользователей, заинтересованных в анализе данных объемом всего в несколько терабайтов".

Cloudera Distribution for Hadoop (CDH) включает в себя набор программ с открытым кодом, объединенных вокруг ядра Hadoop Common (ранее оно называлось Hadoop Core). В  CDH входят: программное обеспечение Hive, формирующее инфраструктуру для построения хранилищ данных; СУБД Hbase на основе Hadoop; компилятор Pig для программ, соответствующих парадигме map-reduce; планировщик Zookeper для запуска приложений на нескольких серверах и технология MapReduce.

В новую, третью версию пакета также включены три программы, разработанные компанией Cloudera в ходе реализации проектов с открытым кодом и распространяемые по лицензии Apache V2. Первая из них называется Flume и помогает загружать данные в среду Hadoop. Второе дополнение, Oozie, представляет собой программное обеспечение управления технологическими процессами. И наконец, в компоненте Hadoop User Environment реализован пользовательский интерфейс для управления Hadoop.

"Программное обеспечение HUE, которому известно, каким образом следует поддерживать взаимодействие с кластерами Hadoop, позволяет создавать аналитические приложения любому желающему", — отметил Олсон.

CDH 3.0 в пакете Cloudera Enterprise дополняют основанные на протоколе LDAP инструменты управления, распространяемые на коммерческих условиях. Они призваны помочь ИТ-администраторам в управлении доступом, распределении ресурсов, настройке конфигурации и мониторинге производительности.

Олсон не сообщил, какова стоимость подписки и консультационных услуг, но указал,  что в первом квартале 2010 года Cloudera заработала примерно столько же, сколько за первую половину 2009 года. Интерес к технологиям компании проявляли представители телекоммуникационной отрасли, розничной торговли, госсектора, интернет-коммерции и сферы финансовых услуг.

С помощью Hadoop решают довольно широкий спектр задач. Данные, поступающие из самых разных мест, требуют сложного анализа. Финансовые службы заинтересованы в использовании Hadoop для обнаружения мошенничества. Телекоммуникационная отрасль испытывает реальную потребность в оптимизации сетей и снижении оттока клиентов.

Помимо поставки новых пакетов, компания Cloudera налаживает контакты с поставщиками систем бизнес-анализа и программного обеспечения управления данными, которые в свою очередь предлагают услуги техподдержки Hadoop.

В ходе своего выступления на недавней конференции Hadoop Summit 2010 в Санта-Кларе Олсон сообщил, что компания MicroStrategy, поставляющая системы бизнес-анализа, готова предложить своим клиентам услуги поддержки Hadoop.

Еще одним новым партнером Cloudera стала компания Talend, специализирующаяся на разработке ПО обеспечения интеграции данных с открытым кодом. Возможности Talend Integration Suite были расширены благодаря интерфейсу с базами данных Hadoop. Новое программное обеспечение позволяет ИТ-администраторам организовывать управление множеством агрегированных источников данных с единой консоли.

"Теперь наши приложения могут вставлять данные в базы Hadoop и с учетом особенностей их архитектуры", — сообщил вице-президент Talend по маркетингу Ив де Моншейль.

Microstrategy и Talend присоединились к растущему числу организаций, готовящих программное обеспечение с открытым кодом и коммерческие инструменты управления для Hadoop. Компании Cloudera и Quest приступили к проекту по созданию программного обеспечения, связывающего Hadoop с СУБД Oracle. В мае компания Pentaho объявила, что ее пакет программ бизнес-анализа с открытым кодом будет работать с базами данных Hadoop.

В интервью службе новостей IDG Рэйми Стата, технический директор Yahoo (специалисты компании были в числе инициаторов проекта Hadoop), заявил, что новая технология уменьшает потребности в суперкомпьютерах, предназначенных для анализа больших объемов информации. До сих пор большие наборы данных перед их анализом переносились с устройств хранения в суперкомпьютеры. Hadoop, напротив, позволяет перенести аналитические расчеты в места расположения данных, исключая тем самым необходимость в централизованных компьютерах с гигантской вычислительной мощностью.

Коммерческим распространением технологий Hadoop, помимо Cloudera, занимается корпорация IBM. Недавно IBM начала предоставлять своим клиентам набор аналитических услуг, в которых используется данная технология.


Теги: