В конце мая в офисе компании «Сбербанк-Технологии» прошла конференция Sberbank Data Day. Ее целью было привлечь внимание специалистов и студентов-старшекурсников к тому, как крупнейший отечественный банк работает с Большими Данными и какие видит перспективы в этой области, а также раскрыть некоторые секреты внутренней кухни анализа Больших Данных в банке.

Как подчеркнул старший вице-президент Сбербанка Никита Волков, банк считает работу с данными одним из ключевых направлений и источником роста, уже имеет достаточный опыт в сфере Больших Данных и может отнести себя к организациям, которые называют «направляемыми данными» (data-driven). Он также отметил, что Сбербанк крайне заинтересован в привлечении умных, талантливых и надежных специалистов, чтобы совершенствовать свой аналитический фундамент и формировать эффективную дорожную карту преобразований с помощью Больших Данных.

Игорь Бардинцев, директор центра прикладных данных Сбербанка, рассказал о проектах монетизации данных – создании на их основе новых продуктов, не связанных с существующими банковскими линейками. В Сбербанке такие проекты делят на внутренние, направленные на оптимизацию деятельности и сокращение затрат, и внешние, предназначенные для продажи другим организациям. Приведенные примеры внутренних проектов (оптимизация остатков в отделениях на основе прогнозирования потребности в наличных, переход к более эффективной модели универсальных рабочих мест с помощью анализа исторических данных о том, как сотрудники работают в офисе, прогноз выхода банкоматов из строя на базе анализа их технических параметров) уже на стадии пилота продемонстрировали возможность сэкономить миллиарды рублей. Из внешних проектов монетизации Бардинцев упомянул разработку нескольких продуктов, в частности системы для ретейлеров «Геомаркетинг 2.0», позволяющей дополнить карту перемещений потенциальных покупателей данными об их доходах.

По словам Бардинцева, Сбербанку принадлежит существенная (от 40 до 99%) доля во всех видах финансовых операций в стране – от кредитования до выплаты зарплат и пенсий, что позволяет приобретать обширные «знания» о своих клиентах. Но до последнего времени эта информация была рассредоточена по локальным системам, и лишь недавно начался процесс консолидации данных, что и стало предпосылкой для развития деятельности по монетизации.

Ключевыми компонентами технологической платформы работы с данными – «фабрики данных» Сбербанка — являются консолидированный источник неструктурированных данных на базе Hadoop и корпоративное хранилище на технологиях Teradata. За них отвечают две разные команды компании «Сбербанк-Технологии»: Центр компетенции развития BI-технологий и Центр компетенции по супермассивам данных. Последний наиболее активно задействован в проектах по монетизации вместе с еще одной структурой – Лабораторией данных блока «Технологии» Сбербанка. Как рассказал ее руководитель Донат Фетисов, основная задача лаборатории состоит в выявлении правильных источников данных для реализации той или иной идеи монетизации. Уже сейчас есть более 60 гипотез монетизации, и их число будет расти. Но чтобы трансформировать гипотезу в продукт, нужно не только разработать модель и проанализировать финансовую состоятельность идеи (этим занимается Центр компетенции по супермассивам данных), но и предварительно выяснить, откуда брать нужные данные. Задача непростая с учетом того, что Сбербанк работает с более чем 400 источниками данных, а их общий объем составляет около 16 Пбайт.

В своих исследованиях Лаборатория данных использует кластер на базе Hadoop объемом 600 Тбайт. В ближайших планах – построение промышленного озера данных, создание инструментов самообслуживания для привлечения в проекты аналитиков от бизнеса и превращение исследований в регулярный процесс с целью сократить сроки поставки данных для экспериментов в области монетизации.

В FaceBook тестируют основанную на методах глубинного обучения систему DeepText, предназначенную для смыслового анализа постов и комментариев, результаты которого будут использоваться для повышения точности адресации рекламы.

Как заявляют в Facebook, система понимает смысл написанного «почти так же хорошо, как человек». DeepText может анализировать по несколько тысяч постов в минуту и «знает 20 языков». В компании сообщают, что испытывают систему на сообщениях Facebook Messenger: она помогает выяснять, когда пользователь собирается что-то сделать или куда-либо отправиться.

Как объясняют в Facebook, DeepText понимает, что если пользователь написал «только что вышел из такси», ему такси уже не нужно, а если он пишет «мне нужно съездить кое-куда», то наоборот.

Технология также используется на основном сайте социальной сети. Если, к примеру, кто-то опубликовал пост: «Хочу толкнуть свой старый вел за $200, нужен кому?», DeepText поймет смысл и посоветует сервис, который поможет продать велосипед через Facebook.

Наблюдатели отмечают, что результаты работы DeepText также заметны при поиске по социальной сети — результаты стали подробнее, а их классификация — точнее; кроме того, они больше соответствуют личным интересам пользователя.

Обычную компанию, которая была образована в российской империи еще в XIX-м столетии, найти весьма непросто. Но ведь Сбербанк – это отнюдь не обычная финансовая организация.

Созданный в 1841 году по указу императора Николая I Сбербанк является старейшим банком в России, прошедшим долгий и славный путь в истории страны. Сегодня это финансовое учреждение имеет более 16 тыс. отделений во всех 83 субъектах Российской Федерации и обслуживает около 70% населения страны.

В современных условиях банку приходится решать все более сложные задачи.

Когда-то фактически все операции выполнялись людьми в их рабочее время и на территории банка, но с наступлением эпохи Интернета многое изменилось. Теперь клиенты уже не ограничены часами работы отделений и доступностью банковских служащих, а требования их в условиях обслуживания в режиме 24/7 взлетели до небес.

«Если десять лет назад Сбербанк обрабатывал порядка 30 транзакций в секунду, то сегодня нагрузка увеличилась до 3-4 тыс. транзакций, – указал старший управляющий директор банка Михаил Хасин. – Проблема, с которой мы столкнулись, рано или поздно возникает перед любым банком. Развитие цифровых коммуникаций в последние 10-15 лет привело к небывалому повышению рабочей нагрузки».

Традиционные системы не справляются

Михаил Хасин: "Мы убеждены в том, что движемся в правильном направлении; в противном случае весь ИТ-бюджет нам пришлось бы тратить на модернизацию оборудования»

Свой вклад в изменение ситуации вносит огромное количество выполняемых транзакций. Речь идет не о том, что в обороте находится слишком много денег, а о том, что потребители разбивают многие свои расходы на более мелкие и в результате выполняют значительно больше транзакций.

Если ранее, допустим, потребитель платил за мобильный телефон 100 долл. один раз в месяц, то сегодня же его затраты составляют два-три долларов — но ежедневно.

Увеличение числа транзакций означает повышение рабочей нагрузки. К концу 2014 года стало ясно: системы, построенные за последние 15 лет, не справляются с возложенными на них функциями.

Традиционным и очевидным решением в таких случаях считается модернизация оборудования. В привычных для банков условиях, с учетом времени, когда отделения закрыты и транзакции не проводятся, такой подход оставляет достаточно времени для пакетной обработки и технической поддержки.

«Однако сегодня, когда банки работают круглосуточно, подобные решения уже не имеют смысла», – заметил Хасин.

Сбербанк рассчитывает повысить уровень интеграции своих продуктов и сервисов. Обычно у банков имеется несколько вертикальных программных стеков – один для платежей, другой для ипотеки и т.д. Но в эпоху Интернета клиенты хотят получать доступ ко всем банковским продуктам в одном месте.

«Для создания уровня интеграции, позволяющего взаимодействовать со всеми этими платформами и выдавать удобное для клиентов представление, приходится прилагать огромные усилия», – пояснил Хасин.

Сегодня многие предложения финансовых сервисов объединены в пакеты, которые пересекают границы отдельных продуктов, что делает интеграцию еще более важной.

В условиях роста давления со стороны небольших и маневренных банков, постоянно повышающих гибкость своих ИТ-систем, приходится постоянно думать о внедрении чего-то нового, черпая вдохновение в технологиях, поддерживаемых интернет-гигантами наподобие Facebook и Google.

«Они выросли из стартапов, у которых не было денег на покупку мэйнфреймов, поэтому приобретались маленькие машины, – подчеркнул Хасин. – По мере дальнейшего роста они закупали все больше и больше».

Имея перед собой примеры такой масштабируемости, Сбербанк внедряет технологию обработки, при которой структуры данных размещаются в оперативной памяти (in-memory) и распределяются между множеством обычных недорогих серверов. Вычисления в памяти, ориентированные зачастую на приложения Больших Данных, сулят выход на новый уровень производительности и масштабируемости при использовании стандартного недорогого оборудования.

Клиенто-ориентированная архитектура

Технологию такого рода предлагает целый ряд производителей программного обеспечения, включая SAP и Oracle. В 2015 году Сбербанк приступил к ее тестированию. В конце того же года была развернута платформа In-Memory Data Fabric компании GridGain Systems. Недавно первые компоненты новой технологии были внедрены в производственные системы.

GridGain предлагает кластеризацию и компьютерные средства, обработку, не зависящую от конкретной СУБД, потоковые технологии, функционирующие в реальном времени, и ускорение Hadoop. Возможно подключение сразу нескольких источников данных (в том числе реляционных СУБД и баз данных категории NoSQL) к приложениям Java,. NET и C++. Результатом является распределенная архитектура с массовым параллелизмом, отвечающая за организацию высокоскоростного доступа и обработки.

На сегодняшний день в Сбербанке развернута сеть распределенных вычислений, состоящая из трех «узлов» — машин для обработки платежей в оперативной памяти с использованием технологии GridGain и стандартного промышленного оборудования. Основными ее преимуществами являются высокая производительность и оперативность развертывания. Горизонтальная масштабируемость ограничена только числом узлов, а производительность увеличивается примерно в десять раз. При этом затраты на оборудование очень невелики.

При обучении работе с новым решением сложностей не возникает, поскольку программное обеспечение GridGain базируется на открытой технологии Apache Ignite и поддерживается весьма многочисленным сообществом. Из 5 тыс. разработчиков приложений Сбербанка сотни уже прошли обучение технологиям GridGain и сегодня вносят в деятельность сообщества свой вклад.

Основные трудности, с которыми в Сбербанке сталкивались до сих пор, связаны с новизной технологии обработки данных в оперативной памяти и относительным дефицитом соответствующих специалистов. Ситуация еще более осложняется масштабами системы, которой приходится оперировать несколькими петабайтами данных.

По мере дальнейшего внедрения требуется продумывать вопросы отказоустойчивости, но Хасин не сомневается, что будущее связано именно с подобными технологиями.

«Банки относятся к числу весьма консервативных организаций, но мы убеждены в том, что движемся в правильном направлении, – заявил он. – В противном случае весь ИТ-бюджет нам придется тратить на постоянную модернизацию оборудования».

Первые результаты оказались настолько впечатляющими, что в начале нынешнего года Сбербанк даже выступил в роли инвестора GridGain. Со временем планируется число узлов довести до нескольких сотен.

«Это будет клиенто-ориентированная архитектура, в которой каждого клиента со всеми его данными и продуктами закрепят за конкретным узлом в сети, – пояснил Хасин. – Вся обработка будет осуществляться в оперативной памяти, а данные для всех клиентов и всех транзакций всегда будут представлены в единственной истинной версии».

Не секрет, что анализ для корпоративного мира не менее важен, чем хлеб насущный, и если там чего-то вечно не хватает, так это скорости. Учтя пожелания клиентов, компания Cray представила новую суперкомпьютерную платформу.

Новая система Urika-GX стала первой платформой для гибкого анализа с помещением суперкомпьютеров в открытую корпоративную среду.

Система Urika-GX, поставки которой начнутся в третьем квартале текущего года, обещает исследователям данных новый уровень производительности и возможность быстрого анализа больших наборов данных. Система адаптирована для проведения итерационного и интерактивного анализа высокой интенсивности, а интегрированные в нее средства графического анализа обеспечивают быстрое сравнение с использованием шаблонов.

«В прошлом некоторые вида анализа проводились ежедневно или даже еженедельно, – заметил старший вице-президент компании Cray по продуктам Райан Уэйт. – Сегодня они выполняются с интервалом в шесть часов или даже каждый час. Это позволяет постоянно следить за тем, что делают клиенты».

Urika-GX обеспечивает параллельную нагрузку для Hadoop, Spark и графических технологий. Ресурсы перераспределяются динамически, а открытая структура позволяет выполнять необходимые настройки.

Благодаря предустановленному программному обеспечению систему можно развернуть и ввести в эксплуатацию всего за несколько дней.

«В комплекте с некоторыми системами Больших Данных клиент получает целую гору оборудования и книгу рецептов, – заметил Уэйт. – Затем он пытается настраивать все это самостоятельно, а вопросы, связанные с интероперабельностью версий, порождают дополнительные трудности. На то, что должно занимать несколько дней, приходится тратить недели, а то и месяцы».

В целом, новая система при выполнении сложных запросов работает в три раза быстрее, чем Urika предыдущего поколения.

Urika-GX монтируется в стандартной 19-дюймовой стойке и оснащается стандартными процессорами Intel Xeon суммарным числом ядер до 1728. Объем оперативной памяти ограничен 22 Тбайт. В одной стойке могут размещаться твердотельные накопители общей емкостью 35 Тбайт и жесткие диски объемом 192 Тбайт. Обмен данными осуществляется при помощи высокоскоростной шины Cray Aries.

«Границы рынков Больших Данных и высокопроизводительных вычислений становятся сегодня все более размытыми, – указал старший аналитик Enterprise Strategy Group Ник Руда. – Тенденцией, которую Cray может использовать в своих интересах, является переход к программно-аппаратным комплексам или инженерным системам, специально предназначенным для работы с Большими Данными. В настоящее время эта модель еще не является самой распространенной, но популярность ее растет. В дальнейшем мы прогнозируем увеличение ее доли и выход на ведущие позиции, обусловленный преимуществами в производительности, окупаемости и наличии поддержки. Предложения Cray помимо всего прочего отличает упор на высокоскоростные сети. Среди других поставщиков, придерживающихся аналогичного подхода, можно выделить Oracle и Teradata. Главной же задачей для Cray сейчас является повышение осведомленности потенциальных клиентов о новых предложениях».

Технологии машинного обучения окажут огромное влияние на развитие бизнеса и общества, но пока они остаются на стадии «кустарного ремесла», полагает главный научный сотрудник группы Data61 Государственного объединения научных и прикладных исследований Австралии Роб Уильямсон. Идея машинного обучения не нова, но появление методов обработки Больших Данных и увеличение доступной компьютерной мощности привлекло к ней внимание многих руководителей ИТ-служб. Однако стандартов и возможностей повторного использования разработок пока еще очень мало. Проекты приходится начинать с чистого листа и из-за различия систем обменяться результатами невозможно, отмечает Уильямсон.

Некоторые стартапы — BigML, Wise.io, Precog и другие стали разрабатывать средства машинного обучения, предоставляемые в виде сервисов. Не отстают от них и крупнейшие компании. Но, полагает Уильямсон, использовать их следует с осторожностью. Они предлагают лишь реализацию определенных методов, не гарантируя их пригодности для решения задач. Компаниям следует помнить о необходимости проводить эксперименты, а не просто собирать данные и искать в них закономерности.

Массовое распространение геномики ведет к скорому развитию персонализированной  медицины,  или «медицины данных». Анализ генома скоро будут делать на входе в поликлинику, полагает Леонид Левкович, директор по науке Сколковского центра исследований и разработок компании EMC. Но чтобы извлечь из генома полезную для врача информацию, которая позволит ему, например, выявить наследственную предрасположенность к тяжелому заболеванию, обнаружить рак на ранних стадиях или диагностировать редкую патологию, нужны мощные вычислительные средства. Прежде всего это программное обеспечение, помогающее ученым-биоинформатикам выявлять связи генных мутаций с определенными заболеваниями. ИТ-специалистам необходимо сводить воедино колоссальное количество накапливаемой информации, обеспечивать доступ к этим данным и их обработку, создавая выборки  данных,  нужных врачу.

Помимо большого объема информации существуют также проблемы трансграничной передачи геномных данных, их публичности и вариативности. ИТ-инфраструктура для персонализированной медицины должна давать ученым возможность совместно анализировать медицинские и геномные данные, а также имеющиеся в научных публикациях сведения о воздействии лекарств при различных заболеваниях и геномных вариациях.  Создание такой инфраструктуры  осложняется тем, что во многих странах законодательство не позволяет передавать геномные данные по  Интернету.  По словам Левковича, порядка 40% компаний, занимающихся геномикой в США, используют для обмена данными компактные и жесткие диски. Системы представления данных, как и сами геномные вариации, пока не стандартизованы. Таким  образом,  при обработке генома и сравнении его с референсным геномом  с помощью пяти программных инструментов  получается пять разных результатов, что неприемлемо для дальнейшего анализа и принятия врачебных решений. Поэтому между исследовательской и клинической генетикой сохраняется гигантский разрыв.

«Новый тип данных должен обрабатываться в специальных кластерах, которые не могут иметь произвольную архитектуру, – считает Левкович. – Нужны новые средства работы с источниками данных, осуществления запросов к распределенным неформализованным данным совершенно разной природы и сложной структуры».

В целях стандартизации обмена геномными данными и поддержки сложнейших ИТ-платформ для их обработки в 2013 году был создан Международный альянс по геномике и здоровью (Global Alliance for Genomics and Health, GA4GH), объединивший университеты, медицинские организации и ИТ-компании, занимающиеся новой медициной. Одна из разрабатываемых в GA4GH концепций обеспечения доступа к растущему потоку гигантских файлов  предусматривает  приближение вычислений к данным. «Гораздо проще передавать программы обработки к данным, но реальных средств для этого сегодня нет», – поясняет Левкович.

В прошлом году журнал MIT Technology Review включил в десятку прорывных технологических инноваций развиваемый GA4GH проект «ДНК-интернет», который нацелен на объединение разрозненных хранилищ геномных данных таким образом, чтобы дать исследователям доступ ко всей накопленной информации. Это критически важно для извлечения существенных данных из анализа одного генома путем выделения индивидуальных особенностей из общей массы геномной информации. Ученые, занимающиеся внедрением геномики в клиническую практику, нуждаются в большом объеме информации для интерпретации результатов секвенирования своих пациентов.

В GA4GH намерены назначить уникальный идентификатор каждому фенотипу, установить иерархическую связь между его элементами (так называемые онтологии) и привязать к каждому онтологическому описанию медицинские данные. При этом необходимо учитывать влияние на фенотип не только генотипа, но и внешней среды,  в которой  развивается организм. Пока для учета влияния среды  стандартизованы  лишь две онтологии – биологически значимые химические соединения и банк лекарственных средств с подтвержденным действием.

Сколковский центр исследований и разработок ЕМС участвует в работе GA4GH, реализуя проект по стандартизации представления данных и запросов к ним. В результате должен получиться инструмент для эффективного доступа к геномной информации, позволяющий ученым делать запросы и получать ответы, которые затем можно подвергнуть самым разным видам анализа с использованием математических и биологических методов, а также машинного обучения.

Рабочее название создаваемой в Сколково технологии – META4. Это система, позволяющая сохранять данные в мультимодальной  базе  и находить их с помощью полнотекстовых запросов. Мультимодальная база обеспечивает сохранение структуры связей между отдельными фрагментами. Система позволяет строить сложные индексы на основе нескольких методик индексации данных и вводить произвольные меры похожести между отдельными документами. Помимо кластеризации данных по их похожести и идентификации, META4 осуществляет также фильтрацию, скоринг и поиск по запросу. При этом для разных документов или геномных вариаций можно использовать механизм скоринга по выбору исследователя или несколько механизмов одновременно.

«Мы умеем находить знания, связывающие между собой генотип, фенотип и среду обитания человека, отыскивать неявные связи и выдавать найденные ассоциации вместе с облаком контекста, в котором они находятся», – утверждает Андрей Запарий, ведущий разработчик центра в области биоинформатики. По его словам, центр уже начал совместный пилотный проект по использованию META4 с одним из крупных американских госпиталей.

В ЕМС рассчитывают, что создаваемая в Сколково технология найдет применение не только в медицине, но и будет использоваться как средство для работы с корпоративными «озерами данных».

По мнению Андрея Пивоварова, руководителя группы перспективных технологий предпроектного консалтинга Oracle СНГ, в России уже имеется немало заказчиков, ясно представляющих себе возможности технологий Больших Данных и изучающих сценарии их монетизации. Причем речь идет не только о Hadoop и хранении больших объемов данных, но и о сборе в реальном времени огромных потоков данных и их обработке.

- На каких направлениях, связанных с технологиями Больших Данных, сегодня концентрируются в Oracle?

Корпорация направляет свои усилия на создание оптимизированных программно-аппаратных комплексов, интеграцию Больших Данных, развитие собственной базы данных NoSQL, ускорение доступа к Большим Данным, их безопасность, визуализацию Больших Данных, а также на методологию построения систем Больших Данных. Именно в этих областях у заказчиков сегодня возникают наибольшие проблемы. На них указывает и эволюция Hadoop – одного из ключевых элементов технологий Больших Данных. Изначально эта технология существовала как программная система с открытым кодом, и развивало ее сообщество энтузиастов-разработчиков для задач обработки логов веб-сайтов. Поэтому, например, в ней изначально не было необходимых функций безопасности, таких как разграничение доступа пользователей к данным, ведь ее создателей больше заботило другое – загрузить большие массивы данных и эффективно их обработать.

Немало возникает и вопросов, связанных с архитектурой СУБД, в организациях, где есть Большие Данные. В Oracle работает группа архитекторов, которые собирают примеры использования и готовят документы с рекомендациями, касающимися, в частности, построения гибридных систем, включающих обычные СУБД, Hadoop, NoSQL, средства бизнес-аналитики, Data Discovery и пр. Своими наработками они делятся с заказчиками.

- Кластеры Hadoop нередко создаются на основе недорогих серверов. Почему в Oracle стали предлагать фирменное программно-аппаратное решение?

Заказчики, которые попытались создать кластер Hadoop своими силами из простых, недорогих компонентов, вынуждены были тратить много времени и средств на то, чтобы обеспечить интеграцию отдельных узлов, синхронизацию его работы, установку обновлений, ремонт и замену узлов и т. д. Чтобы помочь заказчикам, создающим кластер Hadoop, в его развертывании и эксплуатации и добиться его высокой производительности, надежности и доступности, корпорация разработала свое оптимизированное программно-аппаратное решение — кластер Hadoop из скоммутированных между собой узлов с предустановленным дистрибутивом Cloudera.

- Нередко обмен данными между имеющимися в организации системами баз данных и Hadoop превращается в отдельную проблему. Что можно здесь посоветовать?

Действительно, заказчики хотят, чтобы кластер Hadoop, часто используемый для хранения не только накапливаемых или собираемых неструктурированных данных, но и ранее собранных структурированных данных, вписался в их ИТ-ландшафт и при этом не требовал серьезных дополнительных расходов на команду специалистов по Hadoop. Специальный инструментарий позволяет описать данные на Hadoop как таблицу СУБД Oracle, к которой можно получить доступ посредством SQL. Обработка таких запросов частично переносится на кластер Hadoop, с его помощью, например, можно отфильтровать данные, существенно уменьшив их объем (что важно, поскольку их необходимо передавать через сеть), и затем отправить результаты фильтрации на обработку в СУБД. Также есть возможность в одном запросе задать поиск по реляционной базе данных и по Hadoop – это может быть полезно, если старые структурированные данные перенесены на хранение в кластер Hadoop.

Когда кластеры Hadoop соседствуют с реляционными СУБД, нередко возникают проблемы со скоростью обмена данными между ними. Эффективно решать их позволяют оптимизированные коннекторы, например для интеграции СУБД Oracle с Hadoop – с их помощью можно увеличить скорость доступа к данным из одной базы в другую в разы по сравнению с бесплатными аналогами.

- Есть ли смысл визуализировать Большие Данные, не прибегая к их серьезной предварительной обработке?

Да, есть. Один из автопроизводителей – наших заказчиков, используя решения Data Discovery, анализирует жалобы клиентов: изучает неструктурированную информацию, содержащуюся в жалобах, находит закономерности и глубже исследует проблемы, которые за ними стоят. Например, если обнаруживается, что в жалобах часто встречаются слова «скрип», «поворот руля» и при этом известно, что авторы жалоб ездят на машинах определенных партий какой-то модели, то есть смысл тщательно исследовать эти партии на предмет дефектов.

Решения класса Data Discovery позволяют, применяя различные способы визуализации, быстро понять, есть ли в данных интересные закономерности, и если они есть, то исследовать их более тщательно, применив традиционный подход. Если же данные из нового источника неинтересны, то можно быстро убрать его из рассмотрения, не тратя время и деньги на интеграцию источника с хранилищем данных.

- Среди Больших Данных встречаются не только большие массивы, но и потоки данных. Какие есть возможности для их сбора и обработки?

Один из наших заказчиков проводит испытания авиадвигателей и во время прогона собирает данные от датчиков, записывает их с помощью нашей распределенной СУБД класса NoSQL, а затем анализирует. Эта СУБД вобрала огромный опыт фиксации в реальном времени большого количества мелких транзакций, таких как показания систем АСУ ТП.

Другой наш заказчик – сотовый оператор – отслеживает местонахождение абонентов, и если обнаруживает, что клиент заехал в торговый центр, который является партнером оператора, то предлагает подготовить информацию о персональных скидках и отправляет ее клиенту по SMS. Здесь используется другой наш инструментарий, который позволяет отслеживать информационные потоки, выявлять в них с помощью шаблонов некие события и оперативно на них реагировать.

- На какие технологии Больших Данных наблюдается спрос в России?

Использование технологий Больших Данных в России входит в стадию зрелости. Чаще всего этими технологиями Hadoop интересуются крупные предприятия – в первую очередь банки, телекоммуникационные компании и розничные сети, причем разговор с ними идет о вполне конкретных бизнес-задачах и технологиях. Интерес к Hadoop вполне объясним: эта технология позволяет собрать воедино и хранить не только те данные, что обычно загружались в хранилища, но также старые структурированные данные, неструктурированные данные из открытых источников и пр.

Есть немало примеров, когда российские заказчики сначала создают у себя экспериментальные лаборатории по Большим Данным, с помощью которых выявляют возможности монетизации этих технологий, определяют перспективные сценарии их применения. А те заказчики, которые выходят на определенный уровень зрелости и начинают использовать Hadoop в масштабах предприятия, уже часто обращаются к нам за промышленным решением. Им мы как раз и предлагаем программно-аппаратные решения для работы с Hadoop.

Что касается обработки больших потоков данных, то основной спрос мы отмечаем со стороны производственных компаний – нефтегазовой отрасли, транспорта, машиностроения, телекома и некоторых других. Есть спрос и на сбор и хранение данных из Интернета – он наблюдается в первую очередь со стороны банков, использующих эти данные для скоринговой оценки клиентов.

При совместной работе в распоряжении исследователей окажутся огромные объемы данных и вычислительные ресурсы, с помощью которых, возможно, удастся выявлять как новые общие закономерности, так и особенности заболеваний у конкретных пациентов и подбирать оптимальную стратегию лечения, подчеркнул Байден. Руководители разных стран, по словам Байдена, проявляют большой интерес к инициативам администрации президента США в области исследования рака, а некоторые из них рассматривают возможность подписания меморандумов о взаимопонимании и присоединения к проектам.

Но в первую очередь необходимо будет собрать достаточное количество данных, и представить их в удобной для использования форме, отметил он. А вместе с тем предстоит и изменить отношение к обмену данными в медицинском сообществе. Пока в большинстве организаций предпочитают не делиться своими информационными ресурсами, и это мешает развитию науки, считает Байден.