Корпорация Oracle представила расширение своего связующего программного обеспечения Oracle Data Integrator, которое дает администраторам баз данных и специалистам по хранилищам данных возможность рассматривать репозитории Больших Данных как еще один источник данных наряду со структурированными базами и хранилищами данных.

«Oracle Data Integrator for Big Data позволяет разработчику, не имеющему навыков работы с технологиями Hadoop, получить присущую Hadoop эффективность, – пояснил вице-президент Oracle по управлению продуктами Джефф Поллок. – Платформы Больших Данных, такие как Hadoop и Spark, в которых используются языки Java и Python, изначально больше ориентированы на программистов, чем на администраторов баз данных. А между тем в традиционном анализе корпоративных данных основная роль отводится администраторам и специалистам по инструментам интеграции данных наподобие ETL (Extract, Transform, Load — 'извлечение, преобразование, загрузка'), использующим SQL и визуальные интерфейсы».

Data Integrator for Big Data расширяет возможности Oracle ODI в части управления источниками Больших Данных.

ODI обеспечивает организациям возможность извлекать данные, представленные в различных форматах и в разных источниках, в частности в реляционных СУБД IBM и Microsoft или в хранилищах данных Teradata. С этой точки зрения подключение репозиториев Больших Данных к ODI представляется вполне естественным.

Благодаря новому расширению компаниям не придется направлять администраторов баз данных на переобучение, чтобы овладеть инструментами вроде Hive for Hadoop. Им предлагается уже знакомый набор инструментов. Администратор получает привычную концепцию сущностей и отношений, а также средства отображения потоков данных 4GL. «Data Integrator for Big Data автоматически генерирует необходимый для выполнения поставленных задач код на нужном языке», – пояснил Поллок.

Новый инструментарий может работать в любой среде Hadoop или Spark, не требуя установки каких-либо дополнительных средств на узлах данных. Опираясь на мощь распределенных вычислительных сред, Data Integrator for Big Data обращается к узлам, где хранятся данные, и выполняет там все требуемые операции.

Системы сбора данных в реальном времени, такие как Oracle GoldenGate 12c, могут перемещать транзакционные данные в кластер Hadoop, где будет проходить подготовка к последующему анализу их с помощью ODI.

В своих попытках объединить новые инструменты Больших Данных с традиционным программным обеспечением анализа данных Oracle не одинока. Недавно компания Hewlett-Packard выпустила программный пакет, позволяющий клиентам интегрировать аналитическую СУБД HP Vertica с платформой HP Autonomy IDOL (Intelligent Data Operating Layer), тем самым организации обретают возможность ускорить анализ больших объемов неструктурированных данных.

Гигант отрасли интеграции данных сообщил о том, что принимает предложение стоимостью 5,3 млрд долл. от европейского частного инвестиционного фонда и Canada Pension Plan Investment Board. Акционеры Informatica получат 48,75 долл. за каждую обыкновенную акцию.

Соглашение это станет крупнейшим выкупом контрольного пакета акций в США в текущем году.

«Informatica – безусловный лидер на рынке решений, связанных с корпоративными данными, – отметил партнер Permira Брайан Рудер. – Мы с волнением ждем грядущего перехода компании к предоставлению облачных сервисов, а также реализации ряда многомиллиардных инициатив в сфере облачной интеграции, управления основными данными, интеграции аналитических средств следующего поколения и обеспечения безопасности данных».

Совет директоров Informatica единогласно одобрил соглашение о слиянии и будет рекомендовать акционерам утвердить это решение. Ожидается, что сделка будет завершена во втором или третьем квартале 2015 года.

«Превращение публичной компании в частную, как правило, обусловлено планами инвестиций в фундаментальные технологии или какими-то организационными изменениями, которые ей не хочется объяснять и отстаивать перед Уолл-стрит», – отметил вице-президент компании IDC Карл Олофсон.

Облачную интеграцию в Informatica считают своей главной перспективой, и здесь уже начали инвестировать в это направление. Его планируется развивать в рамках быстро меняющихся решений для обработки Больших Данных на основе технологий Hadoop и баз данных NoSQL.

«Я полагаю, они хотят модернизировать имеющийся у них инструментарий, чтобы лучше использовать открывающие возможности, не привлекая при этом слишком пристального внимания общественности и не беспокоясь о превратностях биржевых кодировок», – подчеркнул Олофсон.

«Продажа Informatica стала еще одним свидетельством того, что переход технологических компаний в частные руки приобрел эффект домино, – отметил главный аналитик Pund-IT Чарльз Кинг. – Подобно Dell и Tibco, Informatica устойчиво генерирует прибыль, но стоимость акций компании не отражает ее реальных достижений. А это, в свою очередь, побуждает управленческую команду и инвесторов искать другие варианты, рассматривая в том числе и предложения о приобретении».

Предложенная цена в 48,75 долл. за акцию значительно превышает недавнюю стоимость ценных бумаг Informatica, что делает сделку весьма привлекательной для совета директоров.

«Соглашение принесет выгоду всем вовлеченным в него участникам при условии, что новым владельцам удастся сохранить опытную управленческую команду и клиентскую базу, – прогнозирует Кинг. – А если опыт Informatica окажется удачным, мы наверняка будем свидетелями того, что переход в частные руки технологических компаний продолжится».

То, что развитие любой отрасли невозможно без внедрения информационных технологий, давно уже общее место. Как обстоит дело с внедрением ИТ в российском агропроме, комментирует Елена Семеновская, директор по исследованиям IDC в России и СНГ.

- Заметен ли рост интереса к информационным технологиям в аграрном секторе и пищевой промышленности?

Да, заметен, без сомнения, и в области оборудования, и в области программного обеспечения. В аграрном секторе уровень автоматизации пока что низкий, и этот факт плюс тенденция к сокращению импорта продукции сельского хозяйства делают данный сектор экономики очень привлекательным для поставщиков. Одновременно с этим в самой отрасли намечается тенденция к более комплексному производству, которое включает в себя и переработку сельскохозяйственной продукции. Развитие отрасли поддерживается еще и тем, что некоторые крупные ретейлеры начали принимать участие в производственных процессах, развивать собственное производство сельхозпродукции.

- На какой стадии «в среднем» находятся предприятия этих отраслей по части информатизации?

Мы оцениваем степень автоматизации в этом секторе как не очень высокую. По данным отчета Russia Vertical Market IT Spending 2013-2018, доля инвестиций в ИТ со стороны этого сектора составляет около 1%. Для сравнения, в финансовом секторе она достигает 10%, в в производстве в среднем — 8%.

- Какие решения и технологии будут востребованы ими в наибольшей степени? Есть ли у них какие-то специфические потребности в области ИТ?

Сельское хозяйство относится к тем отраслям экономики, которые традиционно не являются зависимыми от ИТ, как, например, банки или телеком, но которые могут значительно улучшить свои бизнес-показатели при использовании информационных технологий. Среди востребованных решений будут системы управления предприятием, помогающие автоматизировать не только само производство, но и отношения с поставщиками и каналы сбыта. На сегодняшний день уже есть индустриальные решения в этой области, учитывающие специфику сельского хозяйства. Следующим очень интересным этапом автоматизации компаний этого сегмента станет использование технологии Больших Данных для производства сельскохозяйственной продукции, Smart Agriculture, что позволит отслеживать весь процесс производства и оптимизировать его в зависимости от многих показателей, например погодных условий или изменения рыночных цен.

Директор дивизиона EMC Isilon в России и странах СНГ Святослав Сухов рассказал о преимуществах горизонтально масштабируемой сетевой системы хранения EMC Isilon, которая является одним из главных элементов новой платформы Federation Business Data Lake для работы с Большими Данными.

Isilon действует на основе операционной системы OneFS, объединяющей три типа классических архитектур систем хранения — файловую систему, диспетчер томов и решение для защиты данных — в одном унифицированном блоке программного обеспечения. Такая комплексная интеллектуальная файловая система охватывает все узлы в кластере, которые можно построить на базе Isilon. В OneFS также реализована интегрированная поддержка стандартных отраслевых протоколов, встроенная поддержка Hadoop и интеграция с VMware для упрощения администрирования функций хранения в виртуализованной среде.

По словам Сухова, сейчас Isilon – одно из наиболее интересных решений для российских предприятий, осваивающих технологии Больших Данных. Создав масштабируемый кластер на базе Isilon, заказчик получает единый пул высокоэффективных ресурсов хранения, а это позволяет значительно сэкономить пространство в ЦОД, необходимое для размещения систем хранения, и за счет этого снизить капитальные и операционные затраты.

Старший системный инженер компании Infinera Дмитрий Шемякин представил платформенное решение для коммуникационного обеспечения инфраструктуры ЦОД и задач обработки Больших Данных.

Он утверждает, что и сейчас, и в обозримой перспективе оптические сети будут основой и наиболее эффективным инструментом для формирования сетевой инфраструктуры дата-центров.

Решение Infinera базируется на концепции «оптической интеграции». Ее ключевым элементом является интегральная схема Photonic Integrated Circuit, на которой совмещены десятки сложных оптических компонентов.

«Такой подход позволяет решить сразу несколько проблем — повысить надежность системы, уменьшить ее габариты и снизить энергопотребление», — пояснил Шемякин.

Технология оптической интеграции разработана более 10 лет назад, но она настолько эффективна, что может и сейчас обеспечить снижение операционных издержек ЦОД на 60% (в части коммуникационного обеспечения), утверждают в Infinera. На базе средств оптической интеграции можно очень быстро развертывать «оптические суперканалы», которые в одном оптоволокне обеспечивают терабитную емкость, что очень важно при организации обмена большими объемами данных при их распределенной обработке.

Николай Местер, директор по развитию корпоративных проектов Intel, рассказал о процессорных продуктах корпорации для создания платформ, ориентированных на задачи обработки Больших Данных. Он отметил, что сейчас развитие таких платформ происходит в двух направлениях, и для каждого из них Intel предлагает собственную элементную базу.

Первое направление предусматривает создание в ЦОД вертикально масштабируемых решений, аккумулирующих данные в одном месте. Такие решения относятся к классу in-memory — они постоянно хранят данные в оперативной памяти. А их развитие осуществляется просто — по мере роста объема данных увеличивается мощность и количество процессоров, памяти, наращивается канальная емкость передающих систем. Для таких платформ Intel предлагает использовать процессоры Xeon, прежде всего их старшую версию E7. В каждом из таких процессоров содержится 15 ядер, и они поддерживают до 12 Тбайт памяти.

Второе направление связано в распределенными, по сути, облачными вычислениями. Под соответствующие платформы у Intel тоже есть специализированные решения, например анонсированный недавно процессор Xeon D.

«Этот процессор объединяет в себе функции вычисления, коммуникаций и ввода-вывода. На его основе можно строить высокоэффективные и недорогие горизонтально масштабируемые платформы для распределенной обработки Больших Данных», — утверждает Местер.

Иван Косяков, архитектор аналитических систем Microsoft, представил на форуме Azure Learning – облачный сервис машинного обучения, на базе которого можно легко создавать и разворачивать решения для анализа Больших Данных.

«Этот сервис имеет библиотеку ‘образцов экспериментов’ и преднастроенных алгоритмов Microsoft, позволяющих значительно сократить время развертывания прогнозных моделей развития бизнеса», — сообщил Косяков.

На простом примере он показал, как компания, обслуживающая сеть торговых автоматов, может повысить эффективность бизнес-операций за счет обработки данных с сенсоров, установленных в этих автоматах. Загрузив накопленные данные в облачный сервис Microsoft, можно в сжатые сроки построить прогноз спроса на товары в автоматах и предсказать возникновение в них неисправностей.

Эксперты определились с терминологией, затем пришло время обсуждения применимости тех или иных технологий для решения бизнес-задач. Взгляды компаний становятся все более взвешенными, и тема направлений развития технологий Больших Данных приобретает все большую актуальность.

«Сейчас данные в большинстве случаев молчат, но хотелось бы, чтобы они сами говорили», — заявил Алексей Благирев, директор по развитию систем аналитики и отчетности банка «Открытие», в рамках форума Big Data 2015. Нынешние подходы к работе с данными по-прежнему подразумевают «озарение» аналитика, позволяющее перейти к конкретным действиям.

Сейчас основными пользователями Больших Данных являются представители профессии data scientist, которая еще не успела обзавестись устойчивым русскоязычным названием, однако смысл ее определился. Главное качество таких специалистов – умение задавать правильные вопросы к данным. Они должны обладать сбалансированными знаниями сразу в трех областях – математике, программировании и отраслевой бизнес-проблематике, а также иметь развитое воображение и способности к визуализации получаемых результатов. Очевидно, что дефицит таких людей и их дороговизна являются вполне естественными. По выражению Григория Каневского, архитектора решений Teradata Aster, компаниям нужна «аналитика с человеческим лицом» — решения, направленные на широкий круг пользователей, позволяющие максимально интегрировать аналитические системы в бизнес-процессы.

Павел Миронов, директор департамента по работе с предприятиями энергетического сектора компании «Эр-Стайл», уверен: громадный объем информации можно переработать, только обладая способностью к ассоциативному мышлению, проведению аналогий. Именно благодаря технологиям Больших Данных есть возможность двигаться к автоматическому управлению производственными процессами. При этом можно обходиться без участия человека, особенно если речь идет о тяжелых и вредных условиях. Главное – достичь необходимого качества данных.

Желоб разочарований

По мнению Сергея Карелова, председателя совета Лиги независимых экспертов, на рынке Больших Данных произошла кардинальная смена повестки: наблюдается определенный скепсис относительно технологий, возникший из-за несовпадения ожиданий и реальности. На кривой зрелости технологий, предложенной Gartner, Большие Данные уже прошли «пик завышенных ожиданий» и сейчас постепенно скатываются по «желобу разочарований».

«Только поняв и осознав причины наших заблуждений, мы сможем остановить скатывание по этому желобу, которое будет продолжаться еще пару лет», — подчеркнул Карелов, согласно прогнозам которого 60% проектов Больших Данных не пойдут дальше пилотной стадии.

По словам Рината Гимранова, начальника управления ИТ «Сургутнефтегаза», вопрос не в том, как не попасть в 60% проектов-неудачников, а как вообще в ближайшее время «избежать» Больших Данных. Он уверен, что сейчас для предприятий гораздо важнее — добиться актуальности используемой информации и «свертывания», то есть максимального упрощения ИТ-архитектур. В решении этих двух задач помогут технологии обработки данных в оперативной памяти (in-memory).

«У нас функционируют 29 систем, и мы хотим, чтобы они работали на базе максимум двух СУБД. Например, хранилище данных и ERP будут являться частью единой системы», — заявил Гимранов.

Сергей Золотарев, глава Pivotal в России и СНГ, согласился, что технологии, работающие в памяти, становятся новой парадигмой построения информационных систем – от реализации отдельных баз данных до полного использования in-memory в качестве платформы для всех приложений. Их применение поможет сократить разрыв между ожиданиями бизнеса и возможностями ИТ.

«Детсткие болезни» Больших Данных

Как отметил Святослав Сухов, директор дивизиона EMC Isilon в России и СНГ, ажиотаж, возникший вокруг Больших Данных, постепенно спадает. Так или иначе, по данным Gartner, лишь 13% компаний заявляют о реализации связанных с ними проектов. Треть компаний находятся на этапе разработки стратегии и сбора информации и еще примерно столько же проводят пилотные проекты.

Для сферы Больших Данных характерны «детские болезни», обусловленные незрелостью технологий. «Существует достаточно много инструментов, но проверенных на практике, стандартизованных методик пока не хватает», — признал Евгений Степанов, менеджер по продажам решений HP Big Data в России. Чтобы понять, какому именно подходу следовать, надо уяснить, какими данными компания обладает, сколько денег тратит на поддержку существующих систем, насколько эффективно решает поставленные задачи.

Илья Гершанов, руководитель направления Больших Данных компании Informatica, подчеркнул, что многие заказчики уже нащупали круг задач, которые можно решать с помощью Больших Данных, определился и спектр доступных технологий. По его мнению, сократить достаточно высокие риски и сроки проектов поможет использование поставщиками заготовок – «типовых» проектов Больших Данных для поддержки бизнес-инициатив.

Самым наглядным примером использования Больших Данных становится клиентская аналитика. Люди — один из самых ценных источников Больших Данных. Как признал Николай Кацан, руководитель направления IBM по решениям в области управления информацией, анонимность в Сети иллюзорна, и всесторонний анализ данных о клиентах позволяет узнать о них многое – возможно, даже больше, чем те хотели бы.

«Большие Данные начинаются тогда, когда к внутренним данным компании добавляются внешние источники. Так данные превращаются в стратегический актив», — заявил Анджей Аршавский, директор Центра компетенции супермассивов данных «Сбертеха». От применения технологий Больших Данных напрямую зависит прибыль банков, поэтому необходимость их использования уже не обсуждается. При этом, по словам Аршавского, 70% работ в аналитических проектах связано с приведением данных в порядок — их очисткой и интеграцией. Кроме того, для удобства анализа данные зачастую требуют реинжиниринга и переформатирования. Все это отнимает много времени и является одной из причин разочарования в Больших Данных.

«За хранилищем данных нужно следить, иначе оно превратится в помойку», — согласился Егор Осипов, эксперт направления «Хранилища данных, аналитика и Big Data» компании «Крок». Миграция отлично помогает санации данных. Хорошим поводом для этого становится начало проектов Больших Данных.

Не теряет актуальности и проблема масштабирования. Как отметил Дмитрий Толпеко, руководитель направления «Хранилища данных и Big Data» компании EPAM Systems, зачастую в хранилища поступает так много данных, что обрабатывать их в разумные сроки не представляется возможным. В этом случае кластеры Hadoop становятся не заменой традиционных хранилищ, а скорее их дополнением, в отдельных ситуациях – даже спасением.

«Hadoop – не панацея, классические аналитические задачи следует решать другими способами. Hadoop силен в анализе неструктурированных данных, тогда как обычные задачи лучше доверить традиционным хранилищам», — предупреждает вместе с тем Сергей Сотниченко, руководитель управления хранилищ данных и отчетности банка «Тинькофф Кредитные Системы».

Облака для Интернета вещей

«Уже в недалеком будущем основной поток информации будет поступать не от людей, а от устройств, встроенных в бытовые приборы», — высказал мнение Николай Местер, директор по развитию корпоративных проектов Intel. По его словам, это и будут «настоящие» Большие Данные. Организациям придется понимать, как из них извлекать пользу, создавая принципиально новые сервисы: по прогнозам Gartner, к 2020 году около 80% своей прибыли компании будут получать от услуг на основе анализа данных. Однако, если информацию не получится обрабатывать в режиме реального времени, ее ценность, равно как и построенных на ней сервисов, будет резко падать, ломая экономику бизнеса. Таким образом, жизнеспособность многих будущих бизнес-моделей окажется в зависимости от производительности построенных ИТ-решений.

На рынке побеждают продукты, которые дешевле и проще. В случае с Большими Данными это облачные системы.

«Компании будут вынуждены учиться анализировать собираемую информацию, и облако сильно упрощает этот путь», — уверен Дмитрий Марченко, директор департамента Microsoft Cloud Enterprise. Операторы облачных решений быстро наращивают свои вычислительные мощности, а их ЦОД покрывают все большую площадь, становясь все ближе к заказчикам. Как считает Дмитрий Шемякин, старший системный инженер Infinera, для дальнейшего развития возможностей облачных систем очень важно обеспечить необходимую емкость каналов между площадками – транспортной сети для связи между ЦОД.

Сегодня еще одна тенденция стремительно охватывает программное обеспечение для бизнеса, и о ней тоже можно сказать, что она «пожирает мир». Судите сами: только за последние несколько недель компании SAP, Salesforce.com, Tibco Software и Oracle объявили об оснащении своих программных продуктов новыми аналитическими возможностями. А в IBM в феврале сообщили, что вложат 4 млрд долл. в активно развивающиеся направления, в том числе в аналитику. И это лишь немногие из примеров.

Простые в использовании средства бизнес-анализа становятся все более распространенными и дают беспрецедентные возможности все более широкому кругу пользователей.

«В прошлом методы аналитики применялись лишь ограниченно, позволяя принимать более обоснованные решения по узкому кругу бизнес-задач», — отмечает Брэд Питерс, сооснователь, директор по продуктам компании Birst (этот провайдер облачных сервисов бизнес-анализа недавно объявил о получении нового раунда финансирования в размере 65 млн долл.).

Сегодня в организациях понимают, что чем больше данных, тем лучше, поэтому средства аналитики предлагаются практически каждому пользователю. Аналитика — это «демократизирующая сила», которая помогает принимать более умные, быстрые и действенные решения, полагает Питерс.

Демократизации аналитики помогают дефицит специалистов в области исследования данных (data scientist) и стремление организаций не отставать от всеобщей «моды» на аналитику, отмечает Керк Борн, профессор Университета Джорджа Мэйсона.

В результате инструменты анализа данных сегодня используются практически везде, где установлено корпоративное ПО. Но хорошо это или не очень, пока еще неясно.

«Передавая данные в руки тех, кто с ними умеет обращаться лучше, отделы ИТ могут сосредоточиться на управлении информацией, ее защите и инфраструктуре, а также на получении данных, сопровождении и предоставлении ресурсов, вместо того чтобы заниматься составлением запросов и отчетов, — отмечает Франсуа Аженста, вице-президент по управлению продуктами Tableau Software. — Лучшие аналитические умозаключения делаются с помощью созданных самими пользователями информационных панелей, которые работают поверх инфраструктуры, контролируемой отделом ИТ».

С другой стороны, многие бизнес-приложения имеют весьма сложные аналитические функции, которыми не всегда могут эффективно воспользоваться сотрудники без специальной подготовки.

«Конечно, меня беспокоит вероятность возникнования проблем в связи с попаданием мощного инструмента не в те руки, — отметил Борн. — В лучшем случае можно получить результаты, бессмысленные или трудные в интерпретации, в худшем — совершенно неправильные». К примеру, незнание того, что некоторые аналитические методы требуют определенных типов данных или преобразований, может привести к бесполезным результатам и впустую потраченным усилиям, добавил он.

Питерс подтверждает важность обучения пользователей и наличия мер контроля, обеспечивающих использование инструментов по назначению.

Возможно, конечно, что риски нецелевого применения новых средств не выше, чем связанные с любыми инструментами бизнес-анализа, отмечает Аженста: «Всегда есть вероятность, что кто-то примет решение исходя из неверных данных или предположений».

И все же вряд ли «готовые к применению» системы аналитики будут действенными, если конечный пользователь не прошел необходимго обучения и не знает лучших практик, полагает Борн: «Человек без формального образования в области аналитики, но с хорошими математическими способностями наверное справится, но только после обучения и практических занятий».

Со временем аналитические инструменты распространятся еще шире. Интерфейсы программирования аналитических сервисов и готовые к применению инструментарии будут «раскупаться как горячие пирожки» предпринимателями эпохи Интернета вещей, стартапами и новаторами, а также крупными компаниями — старожилами, которые «видят ценность корпоративных решений в сравнении с дорогостоящими специализированными системами собственной разработки», добавил Борн.

Со временем, по его мнению, на предприятиях будут автоматизировать все больше высокоуровневых аналитических функций, и людям с ними придется работать все меньше.

Похожая точка зрения у Грегори Пилатецки-Шапиро, редактора сайта об аналитике KDnuggets.com. Автоматизированные и встроенные аналитические механизмы начнут приживаться, а в конечном итоге за этим последует рост применения искусственного интеллекта и машинного обучения, полагает он. В результате некоторые профессии окажутся под угрозой исчезновения, среди них адвокат, бухгалтер, маркетолог и финансовый консультант.

К этому списку Пилатецки-Шапиро причислил и журналистов, но добавил: «Компьютеры, пользуясь доступными им данными, смогут сами генерировать статьи. Но что-то подобное этой — пока нет».