24 марта в ходе форума Big Data 2015, организованного издательством «Открытые системы», корпорация EMC представила новое платформенное решение для работы с Большими Данными — Federation Business Data Lake.

FBDL – это первый плод совместных усилий подразделения EMC Information Infrastructure и компаний Pivotal и VMware, также входящих в «федерацию EMC». Предложенное ими решение представляет собой интегрированный технологический стек, охватывающий ключевые задачи построения так называемых озер данных (data lake).

Как пояснил Святослав Сухов, директор дивизиона EMC Isilon в России и странах СНГ, озера бизнес-данных нужны для нового класса задач, решить которые в рамках традиционных хранилищ данных невозможно или очень проблематично. Сегодня крупные корпоративные заказчики концентрируют в своих ИТ-системах огромные объемы структурированных и неструктурированных данных из множества разнотипных источников. Создание оптимальных условий для хранения и последующего анализа этих данных, то есть создание озер, открывает принципиально новые возможности для бизнеса — компании смогут гораздо точнее прогнозировать свое развитие и реагировать на любые события буквально в реальном времени.

Реализовать эту модель до сих пор мешает сложность построения инфраструктуры, соответствующей уровню поставленных задач. И основная идея разработчиков FBDL состоит в том, чтобы предоставить предприятиям продукт, позволяющий ускорить и автоматизировать развертывание инфраструктуры для озер и работы с Большими Данными, причем на всех основных этапах, включая хранение, анализ и визуализацию результатов для принятия бизнес-решений.

Принципиально важно, что идеология FBDL предлагает заказчикам свободу выбора на основных уровнях технологического стека инфраструктуры озер. Сейчас эта возможность в полном объеме реализована в слое аналитики.

Сухов полагает, что впоследствии клиент сможет выбрать и наиболее подходящую для него систему хранения. Пока же, с точки зрения EMC, функции хранения в озерах данных эффективнее всего решаются с помощью горизонтально масштабируемых систем EMC Isilon, консолидирующих в себе данные любых форматов.

А вот организовать анализ этих данных в FBDL возможно наиболее распространенными средствами, действующими на основе Hadoop, In-Memory No-SQL и Scale-out MPP. В EMC оставляют за клиентами выбор дистрибутива Hadoop, включая Cloudera и Hortonworks, а также новые дистрибутивы на основе открытых платформ. Но в базовом варианте средства анализа включают в себя пакет Pivotal Big Data Suite, в том числе решение PivotalHD с ведущим модулем HAWQ для реализации технологии SQL-on-Hadoop. Средства анализа в FBDL виртуализированы с помощью решений VMware на базе Vblock. Вероятно в перспективе заказчики смогут задействовать и средства виртуализации других поставщиков.

Функции визуализации результатов анализа данных и прогнозирования для принятия бизнес-решений реализованы в FBDL на основе платформенного сервиса Pivotal Cloud Foundry.

В EMC утверждают, что проработали все вопросы интеграции и совместимости элементов предложенного стека озера данных, и планируют обеспечить заказчикам единую точку входа при внедрении решения FBDL и его последующей поддержке.

Как сообщается, с помощью FBDL предприятия получат возможность развертывать массивы Hadoop и системы анализа данных в реальном времени всего за семь дней. Подобное ускорение обеспечивается не только высокой степенью интеграции составляющих решения, но и благодаря целенаправленной помощи EMC своим заказчикам при освоении озер данных. С этой целью корпорация разработала набор услуг и обучающих программ. Они помогут клиентам оценить возможности FBDL и быстро подготовить сценарии обработки Больших Данных.

Решение FBDL будет доступно в апреле. По оценкам EMC, продукт будет востребован только очень крупными компаниями – число его потенциальных заказчиков в нашей стране сейчас не превышает двух-трех десятков.

«Сложились очень необычные условия, в которых предприятия получили возможность повысить эффективность бизнеса, применив передовые подходы к формированию ИТ-инфраструктуры», — считает генеральный директор ЕМС в России и СНГ Сергей Карпов, поделившийся с Computerworld своим видением происходящего в индустрии ИТ.

- Как бы вы в целом охарактеризовали ситуацию на российском рынке?

Текущая ситуация отражает состояние экономики в стране. В целом рынок снижается. На мой взгляд, это происходит не такими быстрыми темпами, как можно было ожидать. Важно, что спад идет на фоне тектонического сдвига, происходящего в ИТ-индустрии на глобальном уровне. Мы переживаем интересный момент. С одной стороны, налицо давление слабых экономических показателей; это касается не только России, а почти всех стран СНГ. С другой — заказчики переосмысливают подходы к построению и использованию своих информационных систем. Предприятия проявляют заинтересованность в модернизации на основе современных технологических и организационных приемов — совершенно иных, чем три-пять лет назад. Появилось много новых возможностей для компаний, осознавших, что приход так называемой третьей платформы ИТ — стратегическое направление развития. Решения для «третьей платформы» пока занимают небольшую долю рынка, но их применение расширяется гораздо быстрее, чем растут классические направления. В кризисной ситуации, когда возможности предприятий для инвестиций в инфраструктуру ограничены, у них появляется стимул к перестройке своих ИТ на основе передовых технологий. Только это позволит эффективно развивать бизнес в сложившихся экономических условиях.

- Какие акценты будут сделаны в стратегии EMC для адаптации к складывающимся условиям?

Есть факторы, на которые мы не можем воздействовать. EMC принимает эти факторы такими, какие они есть, но пытается минимизировать их негативное влияние на взаимодействие с заказчиками. Мы делаем все, чтобы у клиентов в это непростое время была возможность продолжить работу по адаптации своих ИТ к новым условиям.

- Какие выводы можно сделать, сравнив нынешнее положение в ИТ-индустрии с кризисной ситуацией 2008-2009 годов? Что общего и в чем различия с точки зрения поставщика ИТ-решений?

Глубинные причины текущего и прошлого кризиса разные. Спад 2009 года был в основном обусловлен внешней экономической конъюнктурой. Теперь же на ситуацию в России больше влияет геополитика. С точки зрения поставщика различия заключаются в том, что сейчас идет масштабная перестройка в самой ИТ-индустрии — начиная с того, что практика построения облачных структур стала обыденной, и заканчивая появлением инновационных идей, таких как «озера данных» или «третья платформа». Появляются элементы бизнеса, которые базируются исключительно на ИТ. Пять-шесть лет назад такого еще не было.

- Как изменилась сама EMC за это время?

EMC трансформируется как минимум с той же скоростью, с какой происходят изменения в ИТ-индустрии. Надеюсь, даже быстрее. С 2008 года в компании оформилась концепция преобразования в «федерацию EMC», которая сегодня состоит из четырех компаний, достаточно независимо ведущих операции по всему миру. Это EMC, Pivotal, RSA и VMware. «Достаточно независимо» здесь очень правильное выражение, потому что, когда компании тесно интегрированы, они как бы навешивают друг на друга дополнительную бесполезную нагрузку. И это мешает их развитию. В «федерации EMC» такой проблемы не существует. У каждой компании своя миссия: RSA обеспечивает информационную безопасность заказчиков, VMware предоставляет облачные технологии с точки зрения программного обеспечения и работы с вычислительными мощностями, EMC решает вопросы облачного хранения, а Pivotal поддерживает открытые стандарты и разработки с открытым кодом. Создание такой «федерации», которая может предложить конгломерат решений, органично сочетающихся друг с другом, но при этом сохраняет необходимую свободу действий для своих участников, и есть главное изменение, произошедшее с EMC за последние годы.

- В условиях сокращения бюджетов заказчикам важны интегрированные решения и упрощенный доступ к ним, желательно «из одного окна». Как организовано взаимодействие офиса EMC с Pivotal, RSA и VMware на российском рынке?

Не думаю, что заказчик хочет получить все «из одного окна». С одной стороны, это было бы удобно. Но мы неоднократно наблюдали, как клиент, работая с одним вертикально интегрированным вендором, поставляющим все решения из одних рук, в момент «икс» оказывается привязанным к нему — настолько, что экономическая эффективность взаимодействия сильно падает. Ни один вендор не может себе позволить самостоятельно развивать абсолютно все технологии на всех уровнях вертикально интегрированного стека, без значительного удорожания конечных продуктов и услуг. Идея, пропагандируемая EMC, иная. Мы предлагаем заказчику построить полнофункциональный, вертикально интегрированный стек с возможностью замены каждого его элемента на альтернативное решение, доступное на рынке.

- На всех ли уровнях стека работает эта идея?

Есть такое английское слово — commodity, «ширпотреб». На определенном уровне заказчику безразлично, решения каких именно вендоров использовать при построении ИТ-систем. По большому счету клиентам все равно, какие, например, модули памяти будут установлены в их серверах. Почти то же сейчас происходит и на более высоком уровне, например на уровне систем хранения данных. На 80-90% функционал систем всех поставщиков схож. Но наши решения обладают дополнительными качествами — они лучше управляемы, позволяют быстрее выделять нужные ресурсы, легче интегрируются с программными средствами, продуктами виртуализации и т. д. При построении гибридных облачных инфраструктур именно эти отличия приобретают первостепенное значение для заказчика.

- EMC ратует за переход заказчиков от частных к гибридным облачным структурам. Актуален ли такой переход в период экономического спада?

Актуален, поскольку гибридное облако позволяет в условиях ограниченного бюджета построить инфраструктуру, которая будет расширяться так же легко, словно она стоит у самого заказчика. Вместо приобретения элементов инфраструктуры в собственность компании организуют предоставление пользователям ИТ-сервисов на основе ресурсов, арендованных у внешнего поставщика. В этом случае предприятие может изрядно оптимизировать свой ИТ-бюджет, оперативно масштабируя инфраструктуру под конкретные задачи бизнеса. А сэкономленные финансовые ресурсы могут быть направлены на расширение частного облака. В России уже действует немало доверенных сервис-провайдеров, работающих по общим стандартам, и заказчики могут воспользоваться их услугами, сократив тем самым затраты.

- Не слишком ли велик риск скомпрометировать данные в гибридном облаке?

В офисном здании, где мы сейчас располагаемся, есть оператор, обеспечивающий телефонную связь. Что для меня может быть более секретного, чем содержание моего же разговора по телефону? Теоретически его могут записать и использовать мне во вред. Но мы же доверяем поставщикам телефонных услуг свои переговоры, так почему мы не должны доверять облачным провайдерам хранение данных? Ведь они не меньше своих клиентов заинтересованы в поддержании режима информационной безопасности.

- В ноябре в EMC представили Enterprise Hybrid Cloud, охарактеризовав его как «новый взгляд» на гибридные облака. В чем новизна этого решения?

Новизна как раз в появлении понятия «доверенный сервис-провайдер». Крупные предприятия никогда не станут хранить критичные данные в публичном облаке. Им нужно хорошо знать своего провайдера, понимать, по каким стандартам, с какими технологиями он работает, чтобы доверять ему. На основе Enterprise Hybrid Cloud мы предлагаем предприятиям строить частное облако у себя, а провайдерам – формировать надежную и безопасную облачную среду для предприятий, когда тем необходимо на какое-то время расширить набор и объем предоставляемых ИТ-сервисов. Созданное таким образом гибридное облако работает на одних и тех же принципах, по тем же стандартам, которые использовались при создании внутреннего стека ИТ-решений заказчика. Так мы можем повысить безопасность в облачной среде.

- Каковы, на ваш взгляд, перспективы рынка решений для Интернета вещей? Может ли он стать новой движущей силой отрасли?

С точки зрения EMC, Интернет вещей – это прежде всего генерация Больших Данных. Главный вопрос в том, как получить преимущества для бизнеса и общества от их обработки, как правильно применить, как монетизировать этот гигантский объем данных. Пока наиболее развитым сегментом, где используются данные Интернета вещей, является мир мобильных устройств. Например, используя операторские сервисы, мы можем получить полезную информацию о местоположении близких или сотрудников предприятия.

Все это соприкасается с концепцией «озер данных», взятой на вооружение EMC. Мы можем предложить заказчику инфраструктуру для централизованного сбора данных от множества подключенных источников. Но знает ли заказчик, что с ними делать дальше? Благодаря сервисам Hadoop можно быстро организовать анализ и найти какие-то закономерности в массиве данных. Хуже, если неясно, что из данных можно извлечь и какие закономерности искать. А просто консолидировать данные в одной точке хранения и обработки бессмысленно. Примеры полезного применения концепции «озер данных» уже есть. Когда авиалайнер пролетает над Атлантическим океаном, каждый его двигатель собирает 2 Тбайт данных. Если сконцентрировать их в одном месте и сделать следующий шаг — организовать немедленную обработку, можно существенно повысить безопасность полетов. А вот что делать с подключенными к Интернету холодильниками или умными домами, пока не очень понятно. Мы ожидаем появления поколения новых консультантов, людей с иным видением того, как строить бизнес в экосистеме Интернета вещей. EMC, со своей стороны, предоставит им все необходимое для хранения и обработки данных из этой экосистемы.