24 марта в ходе форума Big Data 2015, организованного издательством «Открытые системы», корпорация EMC представила новое платформенное решение для работы с Большими Данными — Federation Business Data Lake.

FBDL – это первый плод совместных усилий подразделения EMC Information Infrastructure и компаний Pivotal и VMware, также входящих в «федерацию EMC». Предложенное ими решение представляет собой интегрированный технологический стек, охватывающий ключевые задачи построения так называемых озер данных (data lake).

Как пояснил Святослав Сухов, директор дивизиона EMC Isilon в России и странах СНГ, озера бизнес-данных нужны для нового класса задач, решить которые в рамках традиционных хранилищ данных невозможно или очень проблематично. Сегодня крупные корпоративные заказчики концентрируют в своих ИТ-системах огромные объемы структурированных и неструктурированных данных из множества разнотипных источников. Создание оптимальных условий для хранения и последующего анализа этих данных, то есть создание озер, открывает принципиально новые возможности для бизнеса — компании смогут гораздо точнее прогнозировать свое развитие и реагировать на любые события буквально в реальном времени.

Реализовать эту модель до сих пор мешает сложность построения инфраструктуры, соответствующей уровню поставленных задач. И основная идея разработчиков FBDL состоит в том, чтобы предоставить предприятиям продукт, позволяющий ускорить и автоматизировать развертывание инфраструктуры для озер и работы с Большими Данными, причем на всех основных этапах, включая хранение, анализ и визуализацию результатов для принятия бизнес-решений.

Принципиально важно, что идеология FBDL предлагает заказчикам свободу выбора на основных уровнях технологического стека инфраструктуры озер. Сейчас эта возможность в полном объеме реализована в слое аналитики.

Сухов полагает, что впоследствии клиент сможет выбрать и наиболее подходящую для него систему хранения. Пока же, с точки зрения EMC, функции хранения в озерах данных эффективнее всего решаются с помощью горизонтально масштабируемых систем EMC Isilon, консолидирующих в себе данные любых форматов.

А вот организовать анализ этих данных в FBDL возможно наиболее распространенными средствами, действующими на основе Hadoop, In-Memory No-SQL и Scale-out MPP. В EMC оставляют за клиентами выбор дистрибутива Hadoop, включая Cloudera и Hortonworks, а также новые дистрибутивы на основе открытых платформ. Но в базовом варианте средства анализа включают в себя пакет Pivotal Big Data Suite, в том числе решение PivotalHD с ведущим модулем HAWQ для реализации технологии SQL-on-Hadoop. Средства анализа в FBDL виртуализированы с помощью решений VMware на базе Vblock. Вероятно в перспективе заказчики смогут задействовать и средства виртуализации других поставщиков.

Функции визуализации результатов анализа данных и прогнозирования для принятия бизнес-решений реализованы в FBDL на основе платформенного сервиса Pivotal Cloud Foundry.

В EMC утверждают, что проработали все вопросы интеграции и совместимости элементов предложенного стека озера данных, и планируют обеспечить заказчикам единую точку входа при внедрении решения FBDL и его последующей поддержке.

Как сообщается, с помощью FBDL предприятия получат возможность развертывать массивы Hadoop и системы анализа данных в реальном времени всего за семь дней. Подобное ускорение обеспечивается не только высокой степенью интеграции составляющих решения, но и благодаря целенаправленной помощи EMC своим заказчикам при освоении озер данных. С этой целью корпорация разработала набор услуг и обучающих программ. Они помогут клиентам оценить возможности FBDL и быстро подготовить сценарии обработки Больших Данных.

Решение FBDL будет доступно в апреле. По оценкам EMC, продукт будет востребован только очень крупными компаниями – число его потенциальных заказчиков в нашей стране сейчас не превышает двух-трех десятков.

Организации, рожденные цифровыми, строятся вокруг своей ИТ-платформы, а все их бизнес-процессы выполняются при помощи ИТ и подпитываются данными. Любое действие, любое решение базируется на обработке наборов данных с последующим анализом пользователей и клиентов, шаблонов эксплуатации, внешних условий и т.д.

Однако не каждая организация рождается цифровой. Как же преобразовать свой бизнес в цифровой тому, кто управляет традиционной компанией, у которой уже сложились определенные требования к ИТ? Как создать новые возможности для бизнеса, отталкиваясь от имеющихся цифровых активов?

Перечислим пять условий, которые помогут организовать этот процесс.

Перевод систем бизнес-анализа в режим реального времени

Возможно, вы уже накапливаете транзакционные данные в хранилище или киоске данных, так или иначе анализируя их. Возможно, уже определено, какие торговые представители будут тушить пожар, возникающий в конце каждого квартала. Подготовлен список клиентов, которым будет рассылаться новый каталог. На первом этапе становления цифрового бизнеса все эти мероприятия должны переводиться в режим реального времени. «В реальном времени» – это не обязательно за доли секунды. Я бы даже предпочел говорить не о реальном, а о «правильном времени»: контролировать ситуацию нужно именно тогда, когда это имеет действительно важное значение для бизнеса.

Вместо того чтобы оценивать эффективность торговых представителей по формальным признакам, выделяйте лидеров и предлагайте тем, кто обычно хорошо справляется со своей работой, но не имеет достаточного количества свободного времени, игровые задачи. Используйте сегментацию клиентов при продвижении приложений и распространении купонов.

Конечно, все это требует контроля за ситуацией и должно предлагаться в правильное время. Важным условием перехода к цифровому бизнесу является гибкость и быстрота реакции.

Встраивание аналитики в бизнес-процессы

Контроль за ситуацией и проведение анализа в реальном времени – это только начало. Бизнес-процессы необходимо реструктуризировать, чтобы обеспечить оперативное вмешательство в случае возникновения такой необходимости. Когда бизнес-анализ только входил в моду, обычно использовался термин операционного бизнес-анализа – концепция с тех пор не изменилась, только технология. Анализ в реальном времени, управление при помощи правил, интеллектуальные инструменты управления бизнес-процессами, коммуникационные протоколы с принудительной передачей данных открывают возможность внедрения и модификации правил, а также переключения и модификации действий на основе анализа текущей ситуации.

Постоянный поиск дополнительных данных

Ресурсы хранения нынче стоят дешево, а платформы обработки данных новейшего поколения упрощают накопление информации, даже если цели не вполне понятны. Возможно, вы еще не готовы перемещать свои системы обработки транзакций или инфраструктуру хранилищ данных с проверенных и испытанных мэйнфреймов и систем управления реляционными базами данных куда-то еще. И это нормально. Но рассмотрите, по крайней мере, возможность дополнения их озерами данными, базирующимися на Hadoop, и анализа этих озер, который ранее считался не заслуживающим внимания: журналы регистрации доступа, записи GPS, забытые корзины с отложенными товарами, записи об обращении к данным, сообщения с жалобами клиентов и т.д.

Все эти так называемые «темные данные» могут использоваться для новых видов анализа, для новых действий. Возможно, вы даже не вполне понимаете, о чем идет речь, но если не искать и не пробовать, все это так и останется вне поля вашего зрения.

Исследование новых способов использования данных

При наличии достаточных оснований аналитики должны получать неограниченный доступ ко всем данным. Я говорю «при наличии достаточных оснований», потому что в некоторых отраслях действуют специальные правила, и представители всех отраслей должны внимательно относиться к вопросам конфиденциальности. Но если аналитикам можно доверять, а грамотное управление исключает злоупотребления, позвольте экспертам исследовать данные. Они начнут генерировать идеи, некоторые из которых будут работать, а некоторые нет.

Измерить окупаемость инвестиций в инновации всегда сложно. Но инновации внедряются лишь тогда, когда людям приходят в голову свежие идеи.

Возможно, формально аналитиков данных в штате нет. Но хороший бизнес-аналитик, вооруженный современными инструментами подготовки и исследования данных, может добиться потрясающих результатов.

Предлагать новое чаще, тестировать постоянно, исправлять ошибки быстро

Последний пункт, пожалуй, наиболее важен. Цифровые организации отличаются гибкостью и быстротой реакции. Они всегда тестируют инновационные решения в условиях реальной жизни. Когда очередная функция готова, запускайте ее и оценивайте ее эффективность. Если ожидаемый результат не достигнут, будьте готовы вернуться обратно, пересмотреть предыдущую версию, внести в нее необходимые изменения и попробовать снова. По возможности тестируйте альтернативные варианты и оценивайте, какой из них работает лучше.

В Microsoft намерены оказать предприятиям помощь в установке и запуске распределенных систем Интернета вещей. Набор интегрированных с Microsoft Azure облачных сервисов поможет сократить сроки развертывания и устранить препятствия, связанные с управлением.

«Пакет Azure IoT Suite будет особенно полезен для решения трех типов задач: управления активами, удаленного мониторинга и профилактической поддержки, – указал руководитель программы управления сервисами Интернета вещей Azure Сэм Джордж. – Эти задачи актуальны для многих отраслей, а в особенности, для предприятий, имеющих большое количество физических активов». По прогнозам IDC, к 2020 году оборот рынка Интернета вещей превысит 5 трлн долл.

Пакет Azure IoT Suite, представленный на конференции Microsoft Convergence, появится в виде предварительной версии к концу текущего года. Он предназначен для обработки огромных объемов данных, поступающих от миллионов или даже миллиардов оконечных устройств. С помощью набора управляющих инструментов отдельные сервисы Azure могут использоваться для хранения и анализа данных, а также для передачи их другим приложениям.

Конкретный перечень технологий, которые будут включены в пакет, пока не сообщается, известно лишь, что предложение базируется на платформе Azure Intelligent Systems Service, которая была представлена Microsoft в прошлом году и предназначена для подключения датчиков и других устройств к облачным сервисам Azure.

Одним из компонентов пакета может стать сервис Azure Stream Analytics, который заработает в апреле. Он позволяет анализировать входящие потоки данных и быстро находить в них интересующие клиентов шаблоны.

Компания Rockwell Automation, занимающаяся автоматизацией промышленных систем, использует Azure для построения собственных систем Интернета вещей.

Компания собирает информацию с датчиков, смонтированных в нефтепроводах и других средствах транспортировки, с целью определения сроков замены оборудования. Анализируя данные в режиме реального времени, система Rockwell планирует мероприятия по техобслуживанию.

Чтобы помочь клиентам в развертывании их систем, Microsoft организует проведение ряда семинаров, посвященных Интернету вещей.

«Технологии повышают прозрачность управления, и это означает огромные перемены для страны. Вы должны помнить, что, как только переходите к технологиям Больших Данных, вернуться назад уже не получится», — говорит Тарик Малик, долгое время возглавлявший Национальное агентство по управлению базами данных и регистрациями граждан Пакистана (National Database & Registration Authority, NADRA), а ныне старший консультант по ИТ в госсекторе компании Teradata. Малик знает, о чем говорит: используя интегрированный подход к сбору данных и управлению ими, он не только создал одну из крупнейших в мире биометрических баз данных, но и обеспечил абсолютную достоверность и полноту информации о гражданах.

В 2012 году Малик был удостоен награды «CIO года», а в 2013 году Пакистан наградил его «Звездой непревзойденного мастерства» — высшей наградой в области технологий за вклад в улучшение государственного управления. В ходе встречи, организованной Teradata, Малик рассказал о своем опыте построения всеобъемлющего хранилища данных о гражданах, позволившего стране решить множество задач.

Малик пришел в NADRA в 2008 году. Тогда это была дышащая на ладан организация, у которой совершенно не было ни денег, ни четкого руководства; претендентов на роль руководителя тоже в общем-то не было. Сейчас же NADRA — одна из самых эффективных организаций в Пакистане. Прежде всего, такой успех стал результатом очень удачного проекта по построению единого хранилища данных о гражданах. Информационные услуги, предоставляемые на его основе, стали весьма востребованными внутри страны, а накопленный опыт по построению хранилищ данных используется правительствами других государств.

«Наш успех во многом стал следствием того, что мы придерживались интегрированного подхода: данные, получаемые от других агентств и прочих органов власти, мы смогли объединить и эффективно использовать», — подчеркнул Малик.

Перед организацией стояли очень амбициозные задачи. Ее руководство понимало, что если оно хочет способствовать созданию эффективного правительства, то столкнется с определенными вызовами. При этом было очевидно, что обеспечить потребности власти и общества можно только с помощью анализа имеющихся данных. Речь идет именно о Больших Данных, хотя на тот момент такого термина еще не было. «Дело не только в объемах, хотя они действительно огромны. В данных важен не размер, а их ценность», — подчеркнул Малик.

Как извлекать пользу из данных? В первую очередь их надо научиться интегрировать и анализировать – собирать из различных источников, объединять и получать желаемый результат. Естественно, чем активнее ведется анализ, тем быстрее растет ценность его результатов. Проанализировав данные, можно докопаться до сути любой проблемы и преобразовать результаты анализа в решения.

«Черная метка» для мошенников

Основой создаваемого хранилища стали собственные данные NADRA. Организация имеет более 500 стационарных и более 200 мобильных офисов, в любой из которых граждане могут обратиться для получения паспортов, идентификационных карт, водительских прав, свидетельств о браке, рождении и смерти и прочих документов. При регистрации граждан собираются их биометрические данные и цифровые фотографии. Все это позволило создать одну из крупнейших биометрических баз данных в мире, основанную на технологиях Teradata.

Это был очень долгий процесс: система управления идентификационными данными разрабатывалась с нуля, в процессе ее создания собиралась и вся необходимая информация о гражданах. При построении системы был принят интегрированный подход. Ее основу составили три ключевых компонента: первый отвечал за обработку отпечатков пальцев, второй – за обработку цифровых фотографий и распознавание лиц, третий – за обработку общей информации.

Источников информации очень много – это могут быть как различные государственные ведомства, так и коммерческие структуры. Тем не менее все полученные сведения объединяются в едином хранилище. Что крайне важно, вся информация о гражданах помещается в контекст их биографии и родственных связей. Такая целостность данных не позволяет гражданам обмануть государство.

«Например, мы всегда тесно сотрудничали с телекоммуникационными компаниями. Если сотовый оператор выдает SIM-карту, в первую очередь проверяется, что за человек ее использует», — подчеркнул Малик. Конечно, это очень помогает в борьбе с терроризмом, так как мобильные устройства сейчас используются не только в качестве инструмента общения, но и как средство дистанционного подрыва.

Собранная информация ложится в основу множества систем государственного уровня – например, системы пограничного контроля и национальной безопасности. Благодаря такому подходу было предотвращено более 500 терактов – это гораздо больше, чем число успешных попыток, информация о которых попадает в СМИ.

Собранные NADRA данные находят широкое применение и вне государственных организаций. Например, к ним обращаются банки при открытии счетов, чтобы убедиться, что человек является именно тем, за кого себя выдает, и попутно оценивают его как клиента. Стало уже общепринятым, что в процессе практически любых действий информация о человеке запрашивается из центральной базы.

Интеграция данных позволяет вскрыть многие факты мошенничества. Более того, если какой-то человек пытается обмануть систему (например, предоставляя недостоверные данные при открытии банковского счета или получении визы), информация об этом безнадежно портит его историю — человек фактически заносится в черный список, что ухудшает его дальнейшую жизнь.

«Благодаря тому что мы смогли объединить усилия всех агентств и правительственных учреждений, мы очень усложнили жизнь мошенников. Без совместных действий эта задача была бы невыполнимой», — уверен Малик.

Цифровая прозрачность

Не менее значимыми стали результаты работы NADRA в социальной сфере. Полная информация о гражданах позволила значительно оптимизировать работу с социальными выплатами, исключив многие коррупционные схемы.

Большой проблемой в Пакистане традиционно был сбор налогов. В стране с населением более 180 млн человек только 800 тыс. граждан платили налоги. Вполне логичным решением NADRA стало проведение аналитики по доходам граждан и оглашение результатов в парламенте. Эта история стала весьма громкой и даже получила освещение в CNN.

«Мы не преследовали цель влезть в чью-то личную жизнь, но собрать данные о людях, которые должны платить налоги, было чрезвычайно важно. Заодно следовало показать парламенту, что министерство, отвечающее за сбор налогов, работает крайне плохо. Естественно, что после этого доклада я столкнулся с определенными проблемами», — вспоминает Малик.

Последний проект Малика в роли руководителя NADRA был связан с корректировкой списка избирателей в 2013 году. Всех людей, приходивших на избирательные участки, сотрудники агентства фотографировали и собирали их отпечатки пальцев. Таким образом, была получена реальная информация о проголосовавших.

После подсчета голосов оппозиционные партии попросили NADRA провести аудит выборов. Во время проверок была выявлена масса нарушений, вплоть до уникального случая, когда один мужчина проголосовал более 3 тыс. раз на участке, предназначенном для женщин. Это был скандал национального масштаба, после которого Малику пришлось не только покинуть должность, но и уехать из страны, беспокоясь за безопасность семьи.

«Россия сможет справиться с любыми проблемами, если позволит данным говорить за себя. Этот подход уже доказал свою эффективность», — убежден Малик. Только с помощью интегрированного подхода к управлению данными государство может обеспечить полную прозрачность своей работы – улучшить избирательную систему, бороться с коррупцией и бедностью, оптимизировать банковскую систему, повысить уровень безопасности.

Новый сервис призван уменьшить объем работы, которую приходится проделывать при внедрении систем машинного обучения.

«В первую очередь мы ориентировались на простоту», — подчеркнул Ранга Ренгараджан, вице-президент Microsoft по разработке облачных корпоративных платформ.

Самостоятельная настройка и эксплуатация систем машинного обучения может быть дорогостоящей для предприятий ввиду сложности программного обеспечения и большого объема требуемого оборудования. Облако, по словам Ренгараджана, дает предприятиям простой способ развертывать обширные сервисы машинного обучения.

Впервые новый сервис, который так и называется, Machine Learning, был введен в действие в ознакомительном режиме в июне 2014 года. В число первых пользователей решения вошли рознично-торговая сеть Pier 1, Университет Карнеги-Меллон и компания eSmart Systems,  поставщик  решений для энергетической отрасли.

  Пользователем  Microsoft Machine Learning  является и  компания Ziosk, поставляющая ресторанам планшеты, с помощью которых посетители могут заказывать блюда из меню. В Ziosk на базе системы машинного обучения и аналитического сервиса Microsoft Power BI реализовали решение, позволяющее ресторанам получать важную информацию о покупательских привычках.

Системы машинного обучения делают умозаключения на основании анализа обширных срезов данных. Впервые технологии машинного обучения в составе коммерческих сервисов когнитивных вычислений Watson начали использовать в IBM, а решение Microsoft стало первым сервисом машинного обучения общего назначения,  который был предложен  крупным облачным оператором.

Новый сервис Azure поддерживает языки программирования R и Python. Алгоритмы машинного обучения можно приобретать на площадке Microsoft Azure Marketplace или получать бесплатно в онлайн-галерее для свободного обмена разработками между пользователями.

Полноценно сервис машинного обучения заработает с 1 апреля. В США он будет стоить 9,99 долл. в расчете на рабочее место в месяц. Использование среды разработки  обойдется  в 1 долл. в час, цена часа вычислений составит 1 долл., а стоимость каждой тысячи транзакций — 0,5 долл.

Microsoft представила еще ряд новых сервисов анализа данных Azure.

В частности, теперь в Azure можно запускать Hadoop под управлением Ubuntu Linux — если нужна возможность использования в облаке развертываний Hadoop, пользующихся скриптами Linux.

Кроме того, в Azure появилась размещаемая версия Storm, ПО с открытым кодом для анализа потоков данных. Azure предоставляет разработчикам возможность простого подключения к Storm  библиотек .Net  и Java.

В Microsoft отметили, что оператор платформы онлайн-рекламы Linkury применяет Storm для отслеживания взаимодействий с клиентами.

«Наши клиенты хотят двигаться вперед вместе с нами, – заявил вице-президент Pivotal по продуктам Сандип Мадра, – так как это помогает им выделиться среди конкурентов, выгодно отличаясь от них в лучшую сторону. Сегодня предприятия принимают все более активное участие в разработке используемого ими программного обеспечения».

Компания Pivotal намерена представить в виде программного обеспечения с открытым кодом аналитическую СУБД Greenplum, СУБД NoSQL GemFire и программное обеспечение Hawq, позволяющее анализировать наборы данных Hadoop с помощью «обычного» языка запросов SQL.

Все это включено в состав пакета Pivotal Big Data Suite, лицензия на который предоставляется по подписке. Big Data Suite базируется на платформе обработки данных Apache Hadoop, которая уже сейчас доступна в виде программного обеспечения с открытым кодом.

Используя для анализа данных различные компоненты пакета, предприятия будут получать дополнительную информацию о своих клиентах и их операциях, что поможет им лучше позиционировать себя на рынке, разрабатывать новые продукты и повышать эффективность своей деятельности. С этой целью компоненты Big Data Suite уже включили в свой арсенал компании Hulu, Southwest Airlines и Indian Railways.

Пакет Big Data Suite был выпущен в 2014 году, и доходы от подписки уже принесли Pivotal 40 млн долл.

Ранее компания представила в виде программного обеспечения с открытым кодом платформенные сервисы Cloud Foundry и была весьма довольна результатом. Аналогичный подход решено использовать и при распространении средств анализа данных.

Программное обеспечение с открытым кодом по разным причинам интересует сегодня все больше и больше предприятий.

Во-первых, пользователи не хотят быть привязанными к проприетарным продуктам, поскольку после попадания клиента в зависимость от программного обеспечения у поставщика появляется возможность диктовать ему свои ценовые условия.

Кроме того, программное обеспечение с открытым кодом помогает организациям следить за направлениями развития программной отрасли. Компания может выделять инженеров, зная, что нужный ей функционал будет включен в следующую версию. Использование программного обеспечения с открытым кодом открывает перед предприятиями возможность адаптировать свои программные средства и предлагать функции, которых нет у конкурентов.

«Речь идет о серьезных переменах, – подчеркнул Мадра. – Даже небольшие компании получают возможность подстраивать платформы под себя. И происходит это благодаря открытости исходного кода. Покупать чьи-то еще технологии больше уже не нужно».

На днях пакет Big Data Suite пополнился новыми компонентами с открытым кодом. В его состав вошли платформа обработки данных Spark, сервис передачи сообщений RabbitMQ и хранилища данных Redis.

Цены на Big Data Suite в Pivotal пока не огласили, сообщив лишь, что клиентам предложат подписку сроком на год и на три года, и цена ее будет зависеть от числа процессорных ядер компьютера, на котором выполняется программное обеспечение.

Программные средства Gemfire и Hawq будут распространяться с открытым исходным кодом по лицензии Apache Software Foundation. А поскольку Greenplum представляет собой одну из вариаций СУБД с открытым кодом PostgreSQL, компания Pivotal будет решать вопрос об оптимальной лицензионной модели для этого программного обеспечения вместе с сообществом PostgreSQL.

Платформа Open Data Platform будет сопоставлять конкретные версии Apache Hadoop и предназначенных для них программных средств в виде единого целого, упрощая предприятиям создание и поддержку сложных систем анализа данных Hadoop.

«По мере того как предприятия начинают понимать ценность Apache Hadoop для бизнеса, потребность в тщательно протестированной, согласованной и хорошо проработанной экосистеме растет, – указал Райми Стата, директор компании Altiscale, одного из поставщиков Hadoop. – Open Data Platform станет той нормативной базой, на основе которой поставщики ИТ-продуктов и сервисов смогут сертифицировать свои решения корпоративного класса».

Управление программным кодом Hadoop осуществляет организация Apache Software Foundation. Подобно ядру операционной системы Linux, Hadoop компонуется различными поставщиками в коммерческие дистрибутивы, не все из которых оказываются совместимыми. Кроме того, имеется целый ряд смежных программ (Hive, Ambari, ZooKeeper и т.д.), для интеграции которых в Hadoop требуется приложить определенные усилия.

Аналогичного подхода Linux Foundation придерживается в отношении Linux Standard Base – набора базовых компонентов, поддерживающих взаимодействие друг с другом.

Формируя для Hadoop общую базовую библиотеку, Open Data Platform помогает понять, какие технологии и какие версии этих технологий хорошо сочетаются друг с другом. Организациям становится легче интегрировать в системы Hadoop уже готовое программное обеспечение и отдельные компоненты Hadoop, предлагаемые различными поставщиками.

Помимо IBM, Hortonworks и Pivotal в реализации новой инициативы примут участие компании General Electric, Infosys, SAS, Altiscale, Capgemini, CenturyLink, EMC, Splunk, Verizon Enterprise Solutions, Teradata и VMware.

«В отрасли выработана твердая позиция относительно дальнейшего развития Spark», – отметил глава аналитической фирмы Monash Research Курт Монаш.

«В наступившем году вы увидите много сценариев, выходящих за пределы нынешних возможностей Hadoop», – отметил генеральный директор и один из основателей компании Databricks Али Годси. Эта компания была образована при участии ряда разработчиков Spark, они предложили клиентам хостинговый сервис Spark и предоставили техническую поддержку дистрибьюторам программного обеспечения, продающим пакеты Spark.

Spark – это платформа для анализа данных, хранящихся в кластере. Как и Hadoop, Spark можно использовать для изучения наборов данных, которые слишком велики и не вписываются в стандарты традиционных хранилищ данных или реляционных СУБД. Подобно Hadoop, Spark может обрабатывать неструктурированные данные (например, журналы событий), которые нельзя представить в виде таблиц баз данных.

Однако по своим возможностям Spark превосходит потенциал Hadoop и позволяет анализировать потоковые данные непосредственно в процессе их поступления.

Таким образом, эта технология может стать более быстрой заменой Hadoop MapReduce для анализа данных. В ежегодном тесте Daytona Gray Sort Challenge, оценивающем производительность систем анализа данных, программное обеспечение Spark без труда обошло Hadoop MapReduce, сумев обработать 100 Тбайт записей за 23 минуты. Hadoop для выполнения той же задачи понадобилось почти в три раза больше времени – около 72 минут.

Поначалу может показаться, что обработка в реальном времени не имеет каких-то существенных отличий, но появление таких возможностей позволяет создавать совершенно новые направления бизнеса.

«Мы, со своей стороны, старались выстраивать нашу интеллектуальную собственность вокруг Spark», – пояснила основатель и генеральный директор компании ClearStory Data Шармила Шахани-Миллиган. ClearStory Data предлагает новый сервис бизнес-анализа, с помощью которого можно создавать последовательности элементов визуализации данных, как если бы речь шла о презентации PowerPoint. При этом данные могут поступать из множества источников и обновляются при поступлении новой информации.

«Людям нужно, чтобы реакция системы была быстрой, – подчеркнул Годси. – Они не хотят ждать ответа целый день. Рекламодатели, например, могли бы, задействуя Spark, решать, какую рекламу показывать пользователям исходя из последних их действий, а не на основе сайтов, которые они посетили несколько дней или недель назад. Скорость обработки данных имеет очень важное значение, потому что объемы собранных данных растут быстрее, чем происходит увеличение вычислительной мощности компьютеров».

«Spark предлагает также более разнообразные способы анализа данных, – указал Монаш. – Технология анализа данных MapReduce, применяемая в Hadoop по умолчанию, фильтрует, сортирует и распределяет данные между отдельными серверами (часть map) и обобщает полученные результаты (часть reduce). Технология же Spark проектировалась для выполнения более сложных запросов и включает в себя элементы машинного обучения и прогнозного моделирования. В тех областях, где Hadoop MapReduce действительно хороша, Spark потенциально ее превосходит».

Одним из первых клиентов Spark стал сервис потоковой музыки Spotify, где эта технология была применена для составления, на основе алгоритмов машинного обучения, музыкальных плей-листов, отвечающих вкусам пользователей.

Даже пользователи Hadoop стали присматриваться к новым возможностям Spark. У компании Cloudera, являющейся дистрибьютором Hadoop и распространяющей Spark, насчитывается уже около 60 корпоративных клиентов, которые в той или иной форме используют Spark. Другие дистрибьюторы Hadoop – Hortonworks и MapR – тоже предлагают Spark своим клиентам.

Реализация проекта Spark началась в 2008 году в лаборатории AMPLab Калифорнийского университета в Беркли. Сейчас, под крылом Apache Software Foundation, этот проект развивается активнее любого другого программного проекта Apache. К основным его участникам примкнули инженеры и разработчики из компаний Intel, Yahoo, Groupon, Alibaba и Mint.

Платформа Spark может использоваться как совместно с Hadoop для анализа данных в Hadoop File System (HDFS), так и автономно. Приложения Spark разработчики создают на языках программирования Python, Java и Scala.

«Привлекательности Spark добавляет хороший интерфейс API, упрощающий доступ к этой платформе со стороны инженеров и разработчиков», – отметил один из основателей Databricks Рейнольд Ксин.

«В 2015 году мы увидим гораздо больше продуктов и сервисов на основе Spark, – прогнозирует Годси. – Программистам сегодня все чаще задают вопросы о навыках разработки на платформе Spark. И у нас было много кандидатов, заявлявших, что не раз видели очень интересные проекты Spark».

«В 2015 году сценарии использования Больших Данных будут расширяться, – отметил Джон Шредер, основатель и генеральный директор компании MapR, выпускающей коммерческие дистрибутивы Hadoop. – В этом году организации начнут переходить от пакетной обработки Больших Данных к их использованию в реальном времени. Нынешние лидеры отрасли и люди, претендующие на роль лидеров в ближайшем будущем, добились существенных успехов в деле интеграции новых платформ Больших данных в аналитические системы, которые смогут обрабатывать информацию 'на лету' и оперативно реагировать на изменения в бизнесе».

По мнению Шредера, в 2015 году будут доминировать пять основных тенденций.

1. Быстрая актуализация данных

Потребность в быстрой актуализации данных является одним из главных источников развития технологий Больших Данных. Процессы в унаследованных СУБД и хранилищах данных выполняются слишком медленно, они недостаточно гибкие и не устраивают бизнес. В 2015 году быстроте актуализации данных в организациях будет уделяться еще больше внимания, а акценты начнут смещаться от сбора информации и управления данными к более активному их использованию.

«Унаследованные СУБД и хранилища данных обходятся дорого, а решать задачи обобщения и структуризации данных приходится с привлечением квалифицированных администраторов баз данных, – отметил Шредер. – Необходимость привлекать администраторов баз данных приводит к задержкам в доступе к новым источникам данных и созданию жестких структур, которые с трудом поддаются изменению. Унаследованные базы данных не обладают достаточной гибкостью, чтобы удовлетворить потребности большинства современных организаций. Первоначальные проекты Больших Данных были ориентированы на создание хранилищ для определенных информационных источников. Вместо наращивания объемов данных, находящихся в их распоряжении, предприятия начнут больше заниматься оценкой их актуальности и повышением оперативности получения требуемой информации. Какими возможностями анализа данных и выполнения операций, связанных с их обработкой, располагает организация? Насколько быстро обновляется информация при изменении предпочтений клиентов, рыночных условий, конкурентных действий и особенностей операций? От ответов на эти вопросы будут зависеть объемы инвестиций и масштабы проектов Больших Данных в 2015 году».

2. Переход от озер данных к платформам обработки данных

В определенной степени 2014 год можно считать годом концентраторов, или озер данных (data lake) – репозиториев, где необработанные данные хранятся в исходном формате: структурированном, неструктурированном или полуструктурированном, в готовности к использованию. Ценность озер данных определяется наличием масштабируемой инфраструктуры, весьма эффективной с экономической точки зрения благодаря низкой стоимости хранения терабайта данных, и возможностью оперативно реагировать на изменение ситуации.

В 2015 году озера данных продолжат развиваться. Появятся новые технологии, которые ускорят обработку хранящихся там данных и выполнение различных операций над ними. Это не только будет способствовать повышению эффективности, но и создаст единую точку управления и единую точку безопасности.

«В 2015 году озера данных будут совершенствоваться по мере перехода от пакетной обработки к обработке в режиме реального времени и интеграции файловых ресурсов, Hadoop и баз данных в платформы масштабной обработки, – указал Шредер. – Другими словами, речь идет не о создании в озерах данных крупномасштабных хранилищ, поддерживающих сложные запросы и большие отчеты, а об обеспечении непрерывного доступа к обработке событий и данных в реальном времени с целью оперативного получения самой свежей информации и мгновенного принятия необходимых мер».

3. Самообслуживание

Постоянное совершенствование инструментов и сервисов Больших Данных означает, что в 2015 году технические средства перестанут быть узким местом при организации доступа бизнес-пользователей и аналитиков к нужной им информации.

«В 2015 году начнут внедряться технологии, позволяющие бизнес-пользователям самостоятельно обращаться к интересующим их данным, – отметил Шредер. – Системы самообслуживания помогут разработчикам и аналитикам изучать данные напрямую. Прежде создание централизованных структур данных считалось возможным лишь при участии ИТ-служб. Это был очень долгий и дорогостоящий процесс. Платформа Hadoop позволила предприятиям в некоторых сценариях получать удобный доступ к структурам данных при выполнении операций чтения. Передовые организации будут осуществлять привязку данных в процессе своей деятельности и смогут получать информацию не только из централизованной структуры. Самообслуживание такого рода поможет им использовать новые источники данных и своевременно реагировать на появляющиеся возможности и возникающие угрозы».

4. Консолидация поставщиков Hadoop и новые бизнес-модели

В начале 2013 года в Intel представили собственный дистрибутив Hadoop, отличающийся от всех остальных тем, что он поддерживался непосредственно аппаратными средствами Intel. Но уже через год в корпорации отказались от этой затеи и стали поддерживать дистрибутив Cloudera.

Одновременно в Intel отметили, что клиенты предпочитают занимать выжидательную позицию, наблюдая за тем, как будет развиваться рынок Hadoop. Множество различных вариантов, предлагаемых поставщиками, приводило пользователей в замешательство. Шредер убежден в том, что в 2015 году консолидация поставщиков Hadoop продолжится. Многие откажутся от собственных дистрибутивов и попытаются сосредоточиться на чем-то другом.

«Вот уже 20 лет мы используем свободное программное обеспечение с открытым кодом, которое сегодня представляет для рынка огромную ценность, – подчеркнул он. – Технологии совершенствуются поэтапно. Технологический жизненный цикл начинается с появления инновационной идеи и создания продуктов, принципиально отличающихся от других, а заканчивается, когда эти продукты окончательно утрачивают свою индивидуальность. Эдгар Кодд придумал концепцию реляционных баз данных в 1969 году. В 1986 году развитие этой инновационной идеи превратило Oracle в публичную компанию, а превращением в массовую продукцию можно считать выпуск первой версии MySQL в 1995 году. Для технологии баз данных путь от инновационной идеи до массового продукта занял 26 лет. Hadoop только-только вступает в период технологической зрелости. С момента публикации Google первых материалов по MapReduce прошло десять лет. С глобальным распространением Hadoop мы столкнулись уже через 10 лет после появления первоначальной концепции. Но Hadoop по-прежнему находится в инновационной фазе, и предложения вендоров, опрометчиво принявших стратегии Red Hat for Hadoop, постепенно уходят с рынка. Так уже произошло с Intel, а вскоре ее примеру последует Pivotal».

Шредер уверен, что в 2015 году мы увидим эволюцию новой, дополненной новыми нюансами модели программного обеспечения с открытым кодом, в которой глубокие инновации будут сочетаться с разработкой силами сообщества.

«Именно сообществу разработчиков программного обеспечения с открытым кодом отводится главная роль в формировании стандартов и поиске консенсуса, – добавил он. – Конкуренция ускорила превращение Hadoop из процессора пакетного анализа в полнофункциональную платформу обработки данных».

5. От Большой Рекламы к Большим Данным

В 2015 году архитекторы корпоративных систем от улучшения понимания технологического стека Hadoop начнут переходить к более четкому и конкретному определению требований к приложениям Больших Данных, включая требования к готовности и непрерывности ведения бизнеса.

«Если организация намерена как можно быстрее перейти от экспериментов к серьезному внедрению в ЦОД, то необходимо, чтобы архитекторы корпоративных систем шли в авангарде движения к Большим Данным, – пояснил Шредер. – ИТ-лидерам отводится важнейшая роль в определении базовых архитектур, учитывающих требования, которые предъявляются к соглашениям об уровне обслуживания, необходимость обеспечения высокой готовности, непрерывности ведения бизнеса и удовлетворения критически важных потребностей предприятия. В 2014 году бум экосистемы Hadoop ознаменовался распространением новых приложений, инструментов и компонентов. В 2015 году рынок сконцентрируется на различиях между платформами и на архитектуре, которая нужна для интеграции Hadoop в ЦОД и достижения желаемых результатов для бизнеса».

Существующие проблемы во многом обусловлены тем, что традиционный подход к обеспечению сетевой безопасности, построенный на стратегиях защиты периметра корпоративной сети, не работает. Согласно отчету 2014 Cyberthreat Defense Report, более 60% организаций в прошлом году стали жертвами одной или нескольких успешных кибератак. Статистика свидетельствует о неэффективности защиты периметра. Исследования показали, что от 66 до 90% всех выявленных брешей были обнаружены не организациями, в которых присутствуют эти бреши, а независимыми компаниями.

Одним из альтернативных вариантов, способных улучшить ситуацию с безопасностью, является модель нулевого доверия (Zero-Trust Model, ZTM). Этот агрессивный подход к обеспечению сетевой безопасности предполагает установление контроля за всеми имеющимися данными исходя из предположения, что каждый файл таит в себе потенциальную угрозу. К выдвигаемым требованиям относятся обеспечение безопасного доступа ко всем ресурсам, предоставление доступа только тем сотрудникам, кому это действительно положено, обязательная проверка систем и исключение какого-либо доверия к ним, инспектирование всего трафика, ведение журналов, наблюдение за функционированием систем, проектирование систем изнутри наружу, а не снаружи внутрь. Это упрощает построение концепции информационной безопасности. Предполагается, что никаких «доверенных» интерфейсов, приложений, трафика, сетей и пользователей больше нет и не будет. Старую модель («доверяй, но проверяй») следует инвертировать, поскольку последние бреши показывают, что если в организации принято доверять, то никаких проверок там не совершается. Первоначально новая модель была разработана Джоном Киндервагом из компании Forrester Research и продвигалась как необходимая эволюция традиционных перекрывающихся моделей безопасности.

Модель ZTM требует от компаний контроля за получением доступа сотрудниками и анализа внутреннего сетевого трафика. Привилегии доступа должны быть минимальными. Особую важность приобретает анализ журналов и использование инструментов, проверяющих реальное содержимое пакетов с данными.

Исследование, проведенное Forrester по заказу IBM, показало, что многие организации уже сейчас находятся на пути к внедрению ZTM. Поступающие от них отклики свидетельствуют о том, что основные концепции этой модели принимаются, даже если в организации не знают о ее существовании. И это обнадеживает – мы видим, что реализация ZTM в полном объеме уже не за горами. Конкретные действия респондентов (ведение журналов, проверка всего сетевого трафика и т. д.) подтверждают, что от 58 до 83% из них уже находятся на пути к поддержке концепции ZTM.

ZTM поддерживает Большие Данные

Использование модели ZTM приведет к генерации огромных объемов данных в реальном времени. Их анализ потребует от ИТ-администраторов погружения в файлы журналов, результаты сканирования уязвимостей, предупреждения, отчеты и т. д. Анализ Больших Данных позволит получить исчерпывающую картину состояния системы безопасности, поможет выявлять риски, определять степень их серьезности, оценивать важность активов, подвергаемых риску, и находить пути устранения брешей в системе безопасности.

Объединение ZTM с Большими Данными сулит и дополнительные преимущества. Весьма многообещающим представляется применение к данным, которые уже находятся в сети, методов поведенческого анализа. Это позволит предотвратить широкий спектр подозрительных действий.

По оценкам Gartner, анализ Больших Данных сыграет ключевую роль в выявлении кибератак. Если сейчас лишь 8% глобальных организаций применяют анализ Больших Данных для выявления угроз безопасности и мошеннических действий, то к 2016 году их доля вырастет до 25%. Большие Данные изменят многие продукты обеспечения безопасности компьютерных сетей, включая средства сетевого мониторинга, аутентификации и авторизации пользователей, выявления мошеннических действий. Они окажут заметное влияние на системы управления, оценку рисков и обеспечение соблюдения нормативных требований. Большие Данные изменят природу управления безопасностью, в том числе межсетевые экраны, антивирусы и системы предотвращения потерь данных. В ближайшие годы развитие инструментов анализа данных поможет повысить эффективность профилактических средств и автоматизированного управления в реальном времени.

И наконец, использование анализа Больших Данных в интересах сетевой безопасности будет способствовать эффективному сбору данных и полномасштабной оценке состояния всей инфраструктуры. Пока же процесс обнаружения источников брешей и оценка последствий их появления с изучением огромных объемов данных самого разного характера может растянуться на несколько месяцев.

Сегодня перед компаниями открывается широкий простор для создания новых продуктов и услуг, которые помогут им извлекать дополнительную прибыль.

Ахмед Банафа – профессор школы информационных технологий при Университете Каплана (шт. Айова, США).