Специалисты Университета Восточной Англии получили средства на четырехлетний проект разработки методов, которые позволят прогнозировать ожидаемую продолжительность жизни конкретного человека. По словам ученых, возможно, многие не захотят знать, сколько им осталось жить, но исследование в любом случае будет иметь практическое, финансовое и медицинское значение. Например, станет проще строить планы относительно выхода на пенсию и появится возможность уточнять, как на продолжительность жизни влияет постоянный прием тех или иных лекарственных средств.

Методы прогнозирования будут основаны на анализе статистики по широким слоям населения за большие периоды времени. Ученые планируют выявить и количественно оценить основные факторы, влияющие на смертность и продолжительность жизни, в том числе, связанные с образом жизни, заболеваниями и медицинскими вмешательствами. В частности, будет пристально изучаться, каким образом на продолжительность жизни влияют хронические заболевания и их лечение.

По мнению авторов проекта, знание возможной продолжительности жизни поможет медикам консультировать пациентов и принимать решения о том, стоит ли выписывать конкретное лекарство. Кроме того, страховые компании смогут более обоснованно определять тарифы и суммы страховок.

Одно из наиболее перспективных применений Больших Данных — прогнозная аналитика, предсказание будущего на основе обработки большого массива данных о прошлом. Именно эта тема стала основной в выступлениях представителей Microsoft на форуме «BIG DATA 2016: большому делу – Большие Данные!», проведенной издательством «Открытые системы».

Задачи такого рода можно условно разбить на две категории — «техническую», наиболее частый пример — использование данных с датчиков для организации проактивного обслуживания техники, и «социальную», в которой объектом исследования становятся люди.

Леонид Березовский, руководитель отдела продаж платформы управления данными Microsoft, сосредоточился на последней категории и привел два примера использования технологий корпорации.

Российская компания Raxel Telematics предлагает страховым агентствам средство оценки каждого отдельного клиента. Устройство устанавливается в автомобиль страхуемого и при движении передает в скоринговую систему на базе Microsoft Azure информацию о времени вождения, скорости, пробеге, а, главное, о стиле езды — о резких торможениях, ускорениях и прочих небезопасных маневрах застрахованной машины. Эти данные обрабатываются скоринговой системой Raxel в облаке Microsoft Azure в реальном времени и исходя из них страховщик может предсказать для конкретного водителя вероятность наступления страхового случая и выставить справедливую цену за КАСКО.

Водитель в свою очередь видит через мобильное приложение, установленное на смартфон, как оценивает система тот или иной его маневр, и может улучшать свой имидж в глазах страховой компании аккуратной ездой. Что, помимо прочего, положительно влияет на дорожную обстановку.

Другой приведенный Березовским пример — контракт с мадридским «Реалом». Богатейший футбольный клуб (оборот — 574 млн евро) имеет по всему миру около 400 млн болельщиков. И заработки «Реала», будь то плата за телетрансляции его матчей, доходы от продажи билетов и сувениров, в конечном счете зависят от его отношений с торсидой.

Для того чтобы лучше понимать своих фанатов, «Реал» заключил в ноябре 2014 года контракт с Microsoft о создании для испанского клуба облачной платформы, которая объединит всех болельщиков и даст возможность формировать каждому из них персональные предложения по части товаров и контента. Платформа будет собирать информацию о каждом болельщике из всех возможных источников (информация в профиле болельщика, история покупок, посещение матчей, активность в соцсетях) и давать руководству клуба рекомендации по работе с ним.

Пул специализированнных средств Microsoft в области прогнозной аналитики строится вокруг среды разработки Revolution R компании Revolution Analitics, купленной Microsoft в январе 2015 года. (R – это свободно распространяемый язык программирования для статистической обработки данных и работы с графикой.) В «промышленной» версии Microsoft R Server, как заверила Алена Дробышевская, руководитель направления продаж платформы управления данных в крупнейших компаниях финансового сектора, он оптимизирован для многопоточных вычислений и стал гораздо быстрее справляться с большими объемами данных.

Задачи работы с клиентами во всех «розничных» организациях (банки, телеком, ретейл) более-менее одинаковы — не допустить ухода и поднять прибыль с каждого. Для этого необходимо найти путь к сердцу если не каждого фаната персонально, то, по крайней мере, члена однородной (по какому-то параметру) группы.

Сервис Azure Machine Learning, утверждает Дробышевская, способен с высокой точностью сегментировать и заново собрать клиентов в кластеры, подсказать оптимальный способ общения с каждой группой и даже день, когда коммуникация будет наиболее эффективна.

Еще одна задача, весьма актуальная для финансовых учреждений, противодействие мошенничеству, также решается путем объединения через размежевание (в однородных группах подозрительные операции выделяются четче).

На облачной платформе можно даже создать персонального финансового менеджера, такого, например, какого на базе Azure создала российская компания Rubbles. Он выдает клиенту персональные рекомендации по сокращению расходов, помогает анализировать и планировать его финансовую жизнь. Система выделяет наиболее характерные шаблоны поведения клиента и находит возможности для экономии. На сайте Rubbles утверждается, что благодаря этим советам на счету среднего клиента «Альфа-Банка» в месяц сохраняется дополнительных 4,6 тыс. руб.

В стремлении представить Большие Данные как доступную и понятную аналитику организациям все чаще приходится задумываться о переносе соответствующих функций в облако. Отдавая предпочтение Большим Данным, предлагаемым в качестве сервиса, когда поставщик берет на себя требующее серьезных затрат времени и ресурсов управление технологиями Больших Данных (Hadoop, Spark, Hive и пр.), предприятия получают возможность избавиться от черновой работы и переключить внимание на преимущества Больших Данных.

В эпоху Больших Данных перед организациями встают фундаментальные вопросы использования их потенциала, расширения сферы применения и интеграции в уже существующие корпоративные хранилища и киоски данных.

Доминирующей и коммерчески применяемой сегодня технологией Больших Данных является Apache Hadoop. Она используется вместе с другими компонентами в составе расширяющейся экосистемы Hadoop: средствами обработки данных в оперативной памяти Apache Spark, инфраструктурой хранилищ данных Apache Hive и системой хранения Apache HBase NoSQL.

Рэйми Стата, генеральный директор компании Altiscale

Чтобы интегрировать Большие Данные в базовую корпоративную архитектуру, нужна соответствующая адаптация и инвестиции в технологии Больших Данных, предоставляемые в качестве сервиса. Архитектура, отвечающая потребностям сегодняшнего дня, должна включать в себя следующие компоненты.

• Высокопроизводительное, готовое к поддержке аналитических средств хранилище данных на базе Hadoop. Как ускорить обработку Больших Данных и обеспечить поддержку аналитики? Лучший способ построить дружественную к аналитическим функциям среду Больших Данных — создать аналитическое хранилище, куда будут загружаться часто используемые наборы данных из озера данных Hadoop, и структуризировать многомерные модели. Имея в своем распоряжении готовый к применению аналитических средств набор данных поверх Hadoop, организации смогут быстро получать ответы на свои запросы. Такие модели понятны для бизнес-пользователей и упрощают исследование изменения контекста бизнеса с течением времени.

Аналитический набор данных должен не только поддерживать отчеты для известных сценариев, но и проводить исследовательский анализ незапланированных ситуаций. Пользователю не нужно задумываться, обращаться ли ему с запросом к аналитическому набору данных или к Hadoop напрямую.

• Семантический уровень, упрощающий «бизнес-язык» анализа данных. Как обеспечить доступ к Большим Данным самому широкому кругу бизнес-пользователей? Чтобы скрыть сложность необработанных данных и представить их бизнес-пользователям в понятных бизнес-терминах, нужен семантический уровень. На таком уровне обеспечивается логическое представление данных, к которому применимы бизнес-правила.

К примеру, «ценными клиентами» на семантическом уровне можно считать тех, кто поддерживает с компанией отношения на протяжении трех и более лет и совершает покупки на регулярной основе. Прежде чем попасть на семантический уровень, данные «ценных клиентов» собираются из разных таблиц и подвергаются многоступенчатой обработке и преобразованиям. Причем все это остается невидимым для бизнес-пользователя.

Прежде бизнес-пользователям приходилось обращаться с запросами к Hadoop напрямую, это было неудобно и требовало дополнительной информации от ИТ-службы. В результате формировалась очередь запросов. Семантический уровень позволяет бизнес-пользователям анализировать и изучать данные в привычных для себя бизнес-терминах, без ожидания ответов от ИТ-службы и назначения запросам приоритетов. Допускается повторное использование данных, отчетов и результатов анализа различными пользователями, тем самым обеспечивается необходимая синхронизация и согласованность, а ИТ-службе не нужно отвечать на каждый отдельно взятый вопрос.

• Среда Больших Данных с множественной арендой. Как обращаться к Большим Данным без привязки к конкретному местоположению пользователя? В условиях повсеместного спроса на аналитику организациям необходим гибридный централизованно-децентрализованный подход к данным. Это позволит различным командам использовать локальные наборы данных и семантические определения, сохраняя доступ к ресурсам корпоративных данных, создаваемых ИТ-службой.

Такой гибридный подход реализуется посредством множественной аренды данных. При этом на ИТ-службу возлагается сбор и очищение данных из озер Hadoop, а также подготовка к созданию централизованного семантического уровня и проведению анализа сохраняемых данных.

Затем создаются виртуальные копии централизованной среды данных для различных бизнес-групп: финансовой, группы продаж, маркетинга и поддержки клиентов. Таким образом ИТ-служба сохраняет за собой управление данными и семантическими правилами, а бизнес-группы и подразделения получают возможность увидеть результаты своей повседневной деятельности путем анализа исторических или корпоративных данных, хранящихся в Hadoop.

• Удобные способы использования аналитики. Как сделать анализ Больших Данных удобным для пользователя? На последнем этапе процесса доставки Больших Данных конечным пользователям необходимо рассмотреть форму их представления. Интерфейсы данных должны отвечать индивидуальным потребностям всех пользователей. Это предусматривает создание интерактивных инструментальных панелей для бизнес-пользователей, интуитивно понятных визуальных инструментов анализа и точных, заранее спланированных отчетов для потребителей информации.

Хотя каждый стиль уникален, лучшие практики предусматривают отказ от реализации любого интерфейса в виде отдельного инструмента. В процессе создания, совместного использования и публикации информации необходима точность и согласованность. Достигается это с помощью семантического уровня, гарантирующего неизменность сути данных, определяющей их ценность, в то время как способы представления могут варьироваться в зависимости от интерфейса.

Большие Данные играют для предприятий все более важную роль, составляя основу корпоративной архитектуры данных. Чтобы использовать их потенциал в полной мере, предприятиям необходимо ускорить инвестиции в технологии, помогающие эффективно хранить и анализировать данные. Благодаря облачным решениям для Больших Данных предприятия укрепляют свои позиции и совершенствуют непрерывно развивающуюся экосистему Больших Данных.

Создатели сайта разработали несколько вариантов тестов, позволяющих выяснить, владеют ли кандидаты методами подготовки и визуализации данных и другими необходимыми навыками. Тестирование занимает от трех до пяти часов. В результате на каждого кандидата составляется отчет, где его сильные и слабые стороны определяются с учетом нескольких тысяч факторов. Тесты ориентированы на решение реальных задач обработки данных, подчеркивают в Correlation One. Работодатели, подбирающие себе персонал, тоже заполняют анкеты, после чего специально разработанный алгоритм находит в базе кандидатов. Как правило, работодатели обращают внимание лишь на несколько факторов — образование, предыдущие места работы и так далее, отмечают создатели сайта. Алгоритмы Correlation One способны учитывать гораздо больше.

В настоящее время Correlation One работает примерно с 20 корпоративными клиентами, а в базе числится около 800 специалистов. За неделю база расширяется на 40-50 человек. Кандидатов в Correlation One планируют привлекать, кроме прочего, проведением конкурсов — «дататонов».

В докладе утверждается, что организации «погрязли в хаотичных, разлаженных циклах управления данными» и тратят «до смешного много времени на поиск отсутствующих данных, исправление неточностей, создание обходных решений, склеивание информации и разрешение конфликтов». Результат — «колоссальные неучтенные потери продуктивности».

Как считают в TechVision, одна из причин в том, что почти все ИТ-инвестиции вкладываются в технологии, а не в сами данные, хотя в последнее время их регулярно провозглашают главным активом бизнеса. В числе основных проблем, обозначенных в докладе, — низкое качество данных и плохая организация руководства данными.

По убеждению авторов, если это не исправить, начатые на волне массового ажиотажа проекты Больших Данных потерпят провал из-за того, что «наши данные сегодня — избыточные, неточные, не на своем месте, неопределенные, старые, неправильно используются и т. д.» Как подчеркивается в докладе, «информация обладает реальной силой, но только когда данные в порядке».

23 марта в Москве состоялся традиционный форум Big Data 2016. Организатор Форума, посвященного Большим Данным и аналитике, который прошел уже в пятый раз, — издательство «Открытые системы». За прошедшие годы форум зарекомендовал себя как ключевое мероприятие в России для открытого обсуждения актуальных проблем и знакомства с последними достижениями в области Больших Данных.

Выступления участников форума наглядно продемонстрировали, что для отечественных предприятий и организаций на первый план выходит задача извлечения ценных знаний из накопленных объемов данных, использование продвинутой аналитики для создания новых продуктов и сервисов.

Татьяна Матвеева, начальник управления информационных технологий ФНС России, поделилась опытом использования возможностей Больших Данных в формировании интерактивных сервисов для граждан и организаций. К примеру, в информационной системе ФНС сегодня хранятся и используются сведения 4,8 млн юридических лиц и 3,6 млн действующих индивидуальных предпринимателей. При этом объем представленных ими документов только по декларациям НДС составляет около 2 Тбайт. Кроме того, ФНС агрегирует и использует информацию, получаемую от других ведомств – за год в налоговые органы приходят около миллиарда записей.

О новой аналитике как средстве получения конкурентных преимуществ рассказал Леонид Ткаченко, директор департамента стратегического маркетинга МТС. А в выступлении Дженнифер Трелевич, директора отдела рисков и рыночных данных Технологического центра Deutsche Bank, прозвучали ценные советы, как справиться с актуальной проблемой этики Больших Данных.

Опыт клиентов в реализации проектов Больших Данных и рекомендации по доведению таких проектов до успешного финала стали темой выступлений представителей компаний Microsoft, HPE, EMC и DIS Group.

Традиционно особое внимание в программе форума было уделено технологическим инновациям в инфраструктуре – системах хранения и обработки Больших Данных. О достижениях в этой области рассказали, в частности, представители компаний Intel, Oracle и Teradata.

В ходе форума организаторы Big Data 2016 рассказали о результатах исследования «Бизнес в эпоху Больших Данных», проведенного в октябре-ноябре 2015 года аналитической группой OSP Data и журналистами Computerworld Россия при поддержке компании IBM. Эти результаты свидетельствуют об активном использовании российскими предприятиями решений для работы с большими объемами данных в широком спектре задач. О ведении проектов Больших Данных сообщили 38% респондентов, и в подавляющем большинстве таких организаций применение решений в области Больших Данных развивается и совершенствуется.

В этом году на форуме работала выставка Big Data Expo. В рамках выставки интерактивные демосессии провели компании HPE, EMC и Visiology. Еще одним новшеством Big Data 2016 стали три параллельных дискуссионных сессии, на которых не только прозвучали доклады, но и прошло открытое обсуждение таких тем, как раскрытие потенциала социальной информации, управление проектами Больших Данных для достижения успешного результата и выбор оптимальной архитектуры для реализации расширенной аналитики.

В SAP объявили о выпуске работающего в памяти механизма запросов HANA Vora, который позволяет выполнять контекстный анализ данных, хранимых в Hadoop, корпоративных системах и других распределенных источниках.

Особенность Vora — возможность использования традиционных методов оперативной аналитической обработки и языков программирования для анализа всех доступных на предприятии данных. Механизм, в частности, позволяет извлекать полезные сведения из традиционных хранилищ данных, а также озер данных и информации, поступающей от датчиков Интернета вещей. Для интерактивного анализа данных Hadoop в Vora используется фреймворк распределенной обработки Apache Spark.

В числе возможностей механизма — корреляция данных для нужд оперативного принятия решений, возможность локальной обработки данных на кластере Hadoop и поддержка OLAP в применении к данным Hadoop.

Код Vora частично передан проекту Apache Spark с расчетом на ускорение развития механизма запросов.