Два года назад Сергей Золотарев, управляющий партнер Arenadata, в своем интервью Computerworld Россия (см. «Hadoop для цифровой трансформации», Computerworld Россия, 10 мая 2017) заявил, что Hadoop постепенно становится стандартной платформой хранения данных, на которую обратили пристальное внимание ведущие софтверные вендоры. Он также отметил, что в России ее начинают использовать компании «из первой десятки» самых продвинутых отраслей и даже многие госкомпании, это и подвигло российских разработчиков создать свой дистрибутив Hadoop. По окончании форума BIG DATA 2019 мы вновь встретились с Золотаревым, чтобы выяснить, насколько за прошедшее время изменились сам рынок Hadoop, возможности этого ПО и продукт Arenadata.

— Два года назад вы говорили, что в России Hadoop используют компании из самых продвинутых отраслей. Как обстоит дело сейчас?

Сейчас эта технология проникла настолько глубоко, что когда мы начинали ею заниматься пять-шесть лет назад, то даже не предполагали, что она получит настолько широкое распространение в самых разных отраслях. В России Hadoop используют уже более полусотни компаний.

— Что наиболее значимого произошло с Hadoop за это время с технологической точки зрения?

Первое — появилась возможность потоковой загрузки данных с устройств Интернета вещей, тогда как два года назад Hadoop использовался, в основном, для хранения и обработки статичных данных.

Второе — добавлена поддержка графических процессоров и, как следствие, появилась возможность решать задачи глубокого машинного обучения.

Далее, в Hadoop 3 реализована поддержка Docker-контейнеров. Это позволило работать с любыми типами контейнеров, а не только с «собственными» контейнерами Hadoop. Кроме того, раньше для Hadoop была характерна высокая требовательность к ресурсам в связи с необходимостью создания дополнительных копий данных. Эту проблему удалось решить.

— Как будет развиваться Hadoop в дальнейшем?

Если говорить в терминах кривой Gartner, то эта технология вышла на «плато продуктивности». Заказчики поняли, что «умеет» Hadoop и чего «не умеет». Последнее особенно важно, потому что когда Hadoop только появился, многие пытались на нем делать вообще все что придется. И часто разочаровывались — ведь, как правило, технология хороша для решения тех задач, для которых она разрабатывалась. Поэтому был некий закономерный спад, период неудовлетворенности, который уже пройден, и сейчас появилось осознание того, для чего можно использовать Hadoop, для чего — нет. Меняется и сам подход к Hadoop – сейчас заказчику нужен не «дистрибутив вообще», а набор сервисов для решения конкретных задач.

Еще одна важная тенденция — Hadoop уходит в облака. Собственно, одной из причин объединения в конце 2018 года двух крупнейших вендоров, Cloudera и Hortonworks, стало то, что им невозможно было в одиночку противостоять провайдерам типа Amazon, которые начали предоставлять Hadoop из облака.

Постепенно все осваивают возможности Hadoop 3, и я думаю, их активное использование начнется к концу этого года или в начале следующего. Мы тоже готовим версию нашего ПО на Hadoop 3. Она будет уже делаться для новой системы управления, мы уходим от старых систем, в частности от Hortonworks Ambari. Да и сама Hortonworks, вероятно, будет ее поддерживать полтора-два года, не больше.

Ну и, наконец, меняется сам рынок Hadoop. Если пять лет назад было пять или шесть конкурирующих разработчиков дистрибутивов Hadoop, то два года назад осталось трое — Cloudera, Hortonworks и MapR, не считая тех, кто на российском рынке. Сейчас, после объединения Hortonworks и Cloudera, фактически доминирует только одна компания.

И результаты этого объединения очень характерны для любого рынка, на котором идет консолидация и появился лидер, устанавливающий правила игры. У Cloudera была проприетарная система управления, у Hortonworks — открытая. И сейчас очевидно, что открытая система практически не развивается.

Это говорит о том, что рынок Hadoop очень сильно коммерциализуется, такой открытости и доступности, какая была раньше, уже не будет. Как и особого выбора, по крайней мере — у западных компаний. Российским заказчикам мы такую возможность обеспечиваем.

— А что появилось нового в продуктах Arendata?

Как и планировалось изначально, мы достроили универсальную платформу хранения данных — Arenadata Enterprise Data Platform. Из последних ее дополнений — в прошлом году мы представили «стриминговый» компонент платформы на базе Kafka. В феврале этого года мы выпустили систему управления Arenadata Cluster Manager. С ее помощью появилась возможность не только управлять платформой, но и организовывать процесс ее развертывания в любых средах — на собственных мощностях, в публичных и частных облаках. Это вызвало очень большой интерес — как у заказчиков, так и у облачных провайдеров, прежде всего российских. Ничего подобного на рынке нет.

— Ни у нас, ни на Западе?

У Amazon и Google есть очень похожие решения, но они вышли немного позже. Мы очень сильно угадали полтора года назад, когда начали разрабатывать этот продукт.

— Вы утверждаете, что создаете экосистему вокруг своего продукта. Что вы имеете в виду?

Сторонние разработчики программного обеспечения могут использовать нашу систему управления развертыванием для установки их продукта на любые поддерживаемые нами инфраструктуры — любой ЦОД, практически любую облачную платформу. Они могут взять доступные API, открыть документацию и создать для этого достаточно простой код. При этом они получат доступ ко всем средствам управления мониторинга, контроля доступов, логирования и т.д.

Тем самым они дадут своим клиентам возможность развернуть сервисы на любых инфраструктурах. Есть уже «дорожная карта», показывающая, какие сервисы будут добавляться в нашу экосистему. Это прежде всего сервисы, предназначенные для хранения и обработки данных. Мы также поддерживаем контакты с разработчиками, которые занимаются развитием проектов с открытым кодом, чтобы помочь им интегрировать свои продукты с нашей платформой.

— Что еще в планах?

Раньше у нас был продукт, который решал конкретную задачу по хранению и обработке данных. Теперь мы создали инструмент для управления средствами работы с данными корпоративного уровня, причем неважно — входят эти средства в состав нашей платформы или нет. И мы можем предложить заказчикам единый механизм управления всеми сервисами работы с данными, которые есть в их компании.

В целом сейчас идет поиск наилучших способов применения нашей разработки. Скажем, крупным компаниям очень тяжело работать с «открытыми» продуктами, им все-таки надо, чтобы эти продукты были доведены до «корпоративного класса», с соответствующим уровнем надежности, безопасности. Совместно с компанией «Яндекс» мы работаем над выпуском такого продукта на рынок и уже летом планируем представить корпоративную версию ClickHouse с необходимой поддержкой, документацией и т.д.

— А на Запад продавать платформу планируете?

Об этом пока рано говорить, продукт очень новый. Но мы выступали в этом году в Нью-Йорке на крупнейшей мировой конференции по PostgreSQL, рассказывали и про наш опыт работы с СУБД Greenplum, созданной на основе PostgreSQL, показывали свою платформу. Интерес был достаточно большой, и я думаю, что у продукта есть и международные перспективы.

В опубликованном недавно докладе Forrester Research выражается убеждение, что внедрение Hadoop является «обязательным» для любой организации, в которой хотят выполнять сложную аналитику и извлекать полезные сведения из имеющихся данных.

На сегодня от 60 до 73% данных, к которым есть доступ на предприятиях, все еще не используются для нужд бизнес-аналитики, и это неприемлемо в эпоху, когда наличие глубоких аналитических знаний о заказчиках и не только — просто обязательное условие участия в конкурентной борьбе, пишут аналитики Forrester Майк Гуалтьери и Ноэль Юханна в докладе, посвященном дистрибутивам Hadoop. Специалисты по разработке и доставке приложений осваивают Hadoop «в массовом порядке», утверждают аналитики, прогнозируя, что в конечном счете платформу возьмут на вооружение абсолютно все крупные предприятия.

При этом в Forrester отмечают, что ввиду сложности рыночного ландшафта выбрать поставщика дистрибутивов непросто. Абсолютного победителя здесь нет, но есть ряд достойных претендентов, каждый — со своими сильными сторонами. Есть также второй уровень дистрибьюторов, у которых тоже имеются свои плюсы.

По версии Forrester, верхний уровень занимают Cloudera, Hortonworks и MapR, а завершают пятерку лучших дистрибьюторов Hadoop компании IBM и Pivotal. Все они, как отмечают аналитики, хорошо проработали в своих продуктах важнейшие для предприятий характеристики — безопасность, масштабирование, интеграцию, руководство и быстродействие. Все пять дистрибутивов можно развертывать локально, в частном облаке или в публичном, но управлением ПО занимается заказчик. В докладе не учитывались дистрибутивы Hadoop, предоставляемые по принципу SaaS, такие как Elastic MapReduce от Amazon Web Services или Microsoft Azure HDInsight, поскольку это чисто облачные продукты, которые заказчики не могут запускать на собственном оборудовании.

Cloudera, основанная в 2008 году, названа в докладе лидером, — компания получила высший балл в категориях «нынешний продукт» и «охват рынка», а всего в Forrester сравнивали поставщиков по 30 критериям. В Cloudera вносят в открытый код Hadoop определенные проприетарные изменения в целях укрепления безопасности, повышения готовности, а также улучшения руководства и администрирования, отмечают аналитики.

Hortonworks — пожалуй, самый сильный конкурент Cloudera, — по показателю «охват рынка» занимает второе место. Но в Hortonworks предлагают полностью открытый дистрибутив Hadoop. Все его компоненты имеют открытый код, что дает заказчикам большую свободу выбора на случай, если они захотят перейти на какой-то другой продукт; правда, эта гибкость достается за счет отсутствия некоторых функций. Если у Cloudera по показателю «нынешний продукт» результат 4,53 балла (по пятибалльной шкале), то у Hortonworks — только 3,82.

MapR — еще один лидер. Компания получила второй балл в категории «нынешний продукт» — 4,34. По словам Гуалтьери и Юханна, в MapR стараются обеспечить оптимальный баланс между быстродействием и стабильностью, добиваясь при этом максимальной простоты использования.

IBM — сильное предложение, особенно привлекательное для тех, кто уже является клиентаи корпорации и хотел бы дополнить существующие системы аналитики платформой Hadoop.

Pivotal — еще один поставщик, достойный рассмотрения, но в категории «нынешний продукт» и «рыночный охват» компания получила самые низкие оценки. Дистрибутив Hadoop от Pivotal хорошо интегрируется с системами тех заказчиков, которые уже пользуются продуктами и сервисами компании для управления данными и разработки приложений, такими как PaaS-платформа Cloud Foundry и программное обеспечение Greenplum.

Между тем, пока что пользовательская база Hadoop недостаточно велика. В прошлом году аналитик Gartner Мерв Адриан, выражая скепсис по поводу шумихи вокруг Hadoop, сообщил, что среди участников опроса, который провели в компании, до 54% вообще не планировали внедрять Hadoop в предстоящие годы.

На конференции Strata + Hadoop World компания Hortonworks представила инструмент Big Data Scorecard, помогающий организациям в разработке планов по запуску проектов в области Больших Данных.

«В Hortonworks всегда стремились к партнерским отношениям с заказчиками, ставя своей задачей помогать им добиваться максимального успеха инициатив в сфере Больших Данных, — заявил Херб Кунитц, президент Hortonworks. — Опираясь на свой опыт, мы упрощаем работу с Большими Данными, помогаем сделать их двигателем бизнеса заказчика. Hortonworks Big Data Scorecard позволяет ускорить проекты, связанные с Большими Данными, и подхлестнуть трансформацию бизнеса».

Пользователям новой услуги предлагается бесплатно заполнить анкету Hortonworks Big Data Scorecard Survey. Она состоит из пяти разделов: оценка готовности организации к осуществлению стратегии или проекта в области Больших Данных; оценка нынешнего состояния сформированного в организации конвейера данных и аналитики; идентификация инфраструктурных компонентов и технологий, которые понадобятся организации для решения задач, связанных с Большими Данными; выяснение наличия квалифицированных специалистов для вывода проекта на новый уровень; идентификация целей и показателей, которые позволят подтвердить успех проекта.

После получения ответов Hortonworks предоставляет по электронной почте результаты анализа текущего уровня готовности и прогноз о возможности достичь заявленных целей в течение предстоящих двух лет. Эту информацию можно использовать для сравнения своей компании с другими участниками отрасли и для планирования инвестиций.

Затем заказчики могут принять участие в программе совместной инновации, осуществляемой под руководством консультантов Hortonworks.

«Программа совместной инновации помогает заказчикам начать процесс планирования инициатив в сфере Больших Данных, помогающий определиться с общим замыслом, стратегией и планом ее выполнения, — пояснил Вишал Дханука, управляющий директор Hortonworks, руководитель направления Customer Innovation & Strategy. — Мы применяем структурированный комплексный подход, помогая заказчикам формулировать идеи преобразований и определять их потенциал для бизнеса».