Не секрет, что Большие Данные существенно расширяют возможности предприятиям, затрагивая, среди прочих, социальную и этическую сферы. Согласно прогнозам Gartner, к 2018 году около половины всех нарушений деловой этики будет обусловлена неправильным использованием имеющихся средств анализа Больших Данных.

В результате предприятиям грозят потеря репутации, растрата ресурсов, ослабление конкурентоспособности и даже юридические санкции.

Самым ярким, пожалуй, примером здесь может служить известный случай с компанией Target. Используя свой алгоритм прогнозирования беременности, гигант розничной торговли пришел к выводу, что 15-летняя девочка из Миннесоты ждет ребенка. В результате она начала получать купоны на детские товары, которые и обнаружили ее родители.

«Многие из этих нарушений происходят непреднамеренно, – признал научный директор программы исследований Gartner Алан Данкан. – Данные используются в качестве промежуточного звена, и для обеих сторон характерен определенный уровень неосведомленности».

«Вернувшись на сто лет назад ко временам появления первых автомобилей, вы увидели бы, что перед каждой машиной бежит человек с красным флажком и предупреждает пешеходов, – пояснил Данкан. – Люди просто не знали, как им вести себя с самоходной коляской».

Не удивительно, что Федеральная комиссия по торговле США и европейские регуляторы уделяют этим вопросам самое пристальное внимание.

Между тем, что приемлемо и что нет, пролегает очень тонкая грань. Большинство потребителей совсем не пугает идея размещения своей персональной информации в социальных сетях, но когда компании начинают использовать эти данные, чтобы лучше понять потребительские предпочтения, многие чувствуют себя совсем некомфортно.

Когда страховая компания начинает рассылать сообщения, связанные с фитнесом, людям, которые недавно купили Fitbit, получатели относятся к этому с явным неудовольствием.

«Компании, действующие вслепую с использованием имеющихся у них данных, подвергают себя огромному риску, – отметил Данкан. – Данные не имеют никакого понятия о нормах морали. Нет ни хороших данных, ни плохих – они просто существуют. Вся разница определяется выбором человека. В этом и состоит суть этики данных».

Большая часть соответствующих взаимоотношений находится в серой зоне. Во многом это объясняется тем, что соответствующие правовые нормы пока не определены.

«Этика диктует принципы, которыми руководствуются законодатели, – напоминает профессор права Вашингтонского университета Нил Ричардс. – К сожалению, принятие законов неизбежно запаздывает. Закон вступает в силу, когда проблема уже ясна, а если проблемы еще не существует, нет и закона. Закон практически не регламентирует манипуляции с Большими Данными. Вместе с тем, уже возникают моменты, которые люди воспринимают с возмущением, заявляя, что это 'ужасно', 'несправедливо' или 'постыдно'».

Этические принципы помогают бренду завоевать доверие, репутацию и сформировать свою идентичность.

В случае с Target Ричардса беспокоит не то, что компания знала о беременной девочке больше, чем ее родители, а неизбежно последовавшая вслед за этим негативная обратная реакция.

Когда в Target поняли, какой переполох вызвали их купоны, они стали размещать в рассылке и другие товары, окружая основное предложение 'принадлежностями для мужчин', например, запасными лезвиями к газонокосилке. В компании по-прежнему использовали данные аналитики, но принимали при этом более хитрые меры предосторожности.

Что касается аналитиков, то основной посыл их рекомендаций относительно того, как избежать осложнений подобного рода, заключается в том, что компании должны вести себя прозрачно и обсуждать вопросы использования данных непосредственно с потребителями.

«Если вы используете инструменты социологии, к которым относятся и Большие Данные, вы обязаны быть хорошим социологом, – подчеркнул Ричардс. – Все, что беспокоит академических социологов и специалистов по данным, должны учитывать в своей работе и компании. А поскольку законы в этой области еще не устоялись, нельзя просто нанять юриста и поставить перед ним задачу обеспечения практики Больших Данных соответствия нормативным требованиям. Обнадеживает, однако, что компании, следящие за соблюдением этических норм, получают реальные конкурентные преимущества».

На новые технологии и инструменты для манипулирования Большими Данными предприятия тратят миллиарды долларов, но одно небольшое препятствие по-прежнему оказывается для них непреодолимым: они просто не знают, что делать со всей этой информацией.

«У Больших Данных есть одна неприятная особенность: практически никто не знает, что с ними делать, – отметил вице-президент и генеральный менеджер группы облачных платформ Intel Джейсон Ваксман. – Людям кажется, что они поступают правильно. Понятно, что данные необходимо собирать, а у компании должна быть стратегия работы с Большими Данными. Но ведь конечная цель заключается в том, чтобы делать на основе Больших Данных какие-то выводы. А это уже сложнее».

Большие Данные возникают в результате консолидации разнообразных сведений, в том числе поступающих от датчиков и от других потоков входной информации. Многим предприятиям их грамотный анализ помог бы лучше понять поведение клиентов и найти способы повышения операционной эффективности.

В Intel непосредственно заинтересованы в дальнейшем развитии данного рынка, поскольку системы Больших Данных требуют огромного количества процессоров — основной продукции корпорации.

На сегодняшний день на Большие Данные ежегодно приходится около 13 млрд долл. затрат в сфере ИТ. По оценкам Intel, к 2018 году эта сумма вырастет до 41 млрд долл., причем по крайней мере 2 млрд долл. из этих денег будет приходиться на оборудование.

«Чтобы научиться извлекать ценности из Больших Данных, предприятиям необходимо преодолеть ряд препятствий», – указал Ваксман.

Intel предпринимает попытки обсудить накопленный опыт нынешнего применения Больших Данных, а также перспективы их предполагаемого использования в дальнейшем. Выяснилось, что основная трудность связана с поискам путей извлечения ценностей из данных.

Это действительно сложная задача. Организациям нужны специалисты, умеющие собрать систему Больших Данных и наладить управление ею. Помимо обычных навыков программирования и системного администрирования они должны обладать знанием статистических и аналитических методов.

«А люди, которые могут похвастаться всеми этими качествами, встречаются довольно редко», – подчеркнул Ваксман.

Со своей стороны, Intel реализует ряд инициатив, которые должны помочь организациям извлекать ценности из накопленных ими данных.

Одна из них состоит в поиске успешных сценариев работы с Большими Данными и соответствующем их выделении. Когда, к примеру, в розничной сети находят способ стать более привлекательными для клиентов благодаря Большим Данным, Intel стремится распространить этот опыт, чтобы им могли с выгодой для себя воспользоваться и другие.

Другая серьезная задача заключается в том, чтобы упростить развертывание систем Больших Данных. В настоящее время организации собирают системы поэтапно. При этом на их интеграцию и настройку конфигурации уходит очень много времени.

«Сегодня по-прежнему приходится выполнять множество операций, для того чтобы состыковать компьютеры, обрабатывающие Большие Данные, – пояснил Ваксман. – Необходимо найти способ упрощения этого процесса».

Intel финансово поддерживает целый ряд разработчиков программного обеспечения Больших Данных. В прошлом году корпорация инвестировала 740 млн долл. в компанию Cloudera, которая предлагает коммерческий дистрибутив платформы Hadoop. Был разработан специальный план развития программного обеспечения Cloudera на основе использования преимуществ процессорных архитектур Intel.

Несмотря на сегодняшнюю популярность облачных сервисов, Ваксман полагает, что в близкой перспективе большинство предприятий предпочтут не выпускать из своих рук Большие Данные и будут самостоятельно выполнять их обработку, не доверяя соответствующие операции независимым провайдерам услуг.

В качестве иллюстрации он привел свою беседу с руководителем одной из консалтинговых фирм, работающей на финансовом рынке, который рассказал о недавней встрече с представителями IBM, предложившими ему свои когнитивные сервисы Watson. Технология достаточно интересна, но у потенциального заказчика возникли сомнения в целесообразности использования проприетарных сервисов и передачи данных компании, которая в определенном смысле могла бы стать его конкурентом.

«Люди хотят держать свои данные у себя, – сделал вывод Ваксман. – Раздавая их направо и налево, они рискуют лишиться важных активов».

Компания EnterpriseDB намерена приблизить свой диалект, реляционную СУБД PostgreSQL с открытым кодом, к миру NoSQL и добавить туда функции автоматического сегментирования (autosharding).

Выступая на конференции NoSQL Now, проходившей в Сан-Хосе, главный архитектор баз данных EnterpriseDB Брюс Момджан рассказал о планах компании в отношении своей СУБД. «В ближайшие год-два мы намерены реализовать там функции автоматического сегментирования, благодаря которым десятки серверов Postgres будут работать унифицированным образом, разделяя друг с другом транзакции и рабочую нагрузку, – сообщил он. – Таким образом, Postgres сможет справляться с нагрузками, которые ранее были под силу только продуктам NoSQL, поддерживающим многоузловые конфигурации. В настоящее время соответствующие возможности Postgres ограничены».

Затем Момджан более подробно остановился на намерениях EnterpriseDB, указав, что поддержка Postgres больших наборов данных приобретает все большую актуальность. «Мы подошли к той черте, за которой избежать роста нагрузки уже не удастся, – подчеркнул он. – Решать этот вопрос сообщество собирается за счет автоматического сегментирования. Один центральный сервер Postgres будет принимать запросы, определять, какие сегменты лучше подходят для их обработки, и перенаправлять запросы туда. В настоящее время EnterpriseDB и NTT совместно работают над решением этой задачи».

Возможность автоматического сегментирования - уже не первое движение Postgres в сторону NoSQL. В 2012 году в СУБД были добавлены функции для работы с типом JSON, а в прошлом году программное обеспечение Postgres Extended Datatype Developer Kit позволило разработчикам использовать PostgreSQL в приложениях, которым ранее требовались только решения NoSQL.

Момджан отводит Postgres на предприятиях роль центрального брокера данных. Трудно сказать, сможет ли Postgres сравниться по скорости с системой Apache Cassandra, объединяющей 100 узлов, но по функционалу СУБД, предлагаемая EnterpriseDB, явно превосходит Cassandra. «Здесь как всегда приходится искать определенные компромиссы, – пояснил Момджан. – Какая нужна производительность, какой функционал и какое решение лучше всего подходит в данном конкретном случае?»

Поддержка внешних источников данных позволяет, оставив данные в Cassandra, обращаться к ним из Postgres, получая преимущества реляционных СУБД и аналитических средств. Postgres поддерживает и другие внешние источники данных, включая Oracle, MySQL и MongoDB.

Большие Данные стали в последние годы одной из самых обсуждаемых тем. В 2015 году оборот рынка Больших Данных достигнет 16,9 млрд долл. По оценкам IDC, его рост в шесть раз опережает рост рынка ИТ в целом.

За несколько лет экспериментов и активного проникновения Больших Данных в нашу деловую жизнь мы многому научились. И теперь нам предстоит найти ответ на вопрос, как наилучшим образом задействовать мощь Больших Данных для поддержки общей стратегии бизнеса.

Ценность данных во многом зависит от того, как именно их использовать при принятии решений. Критически важную информацию, помогающую пониманию бизнес-задач, нужно держать под постоянным контролем. Данные можно использовать снова и снова для проверки полученных оценок и изменения принятых решений в случае возникновения такой необходимости. Речь идет о возможности вносить коррективы в ранее составленные заключения, придающей организациям дополнительную гибкость и мощь. Благодаря анализу Больших Данных организации по многим параметрам могут опередить конкурентов, улучшить каналы поставок, усовершенствовать свои продукты и услуги, регулировать цены, повысить эффективность продвижения товаров и улучшить стратегии удержания клиентов.

Большие Данные выходят на передний план там, где они открывают перед предприятиями возможность решать задачи, с которыми прежде удавалось справляться с трудом, когда реальная ценность данных становится особенно заметной.

Данные играют определяющую роль фактически в любой отрасли, а их структура со временем усложняется. Для организаций, оперирующих все усложняющимися сценариями (в частности, для операторов систем электронной коммерции) снижение сложности имеет очень серьезное значение. На туристических сайтах, к примеру, клиентам, чтобы получить информацию о ценах, приходится выполнять длинную последовательность операций. Число различных комбинаций, будь то гостиницы, авиарейсы, аренда автомобилей, варианты страховки, трансферы, дополнительные опции и т. д., только для одного заказа может измеряться миллионами.

На пятки туристическим компаниям наступают прямые и непрямые конкуренты, готовые обслужить клиентов, которые желают сэкономить. Чтобы ускорить процесс и помочь клиентам принять решение, некоторые туристические компании начинают использовать технологии Больших Данных, пытаясь путем упрощения взаимосвязей организовать динамическое ценообразование и выдачу рекомендаций с формированием ответов на запросы за доли секунды. Это помогает им повысить свою операционную прибыль.

Производителям следует использовать Большие Данные для лучшего понимания своих клиентов. На каждого отдельно взятого клиента приходится огромный объем данных, описывающих его поведение и историю покупок с учетом самых разных аспектов. Чтобы определить мотивы, движущие клиентами, продавцам необходимо анализировать эту информацию. Но вместе с расширением спектра собранной информации усложняется и ее анализ. Более того, растут ожидания клиентов, желающих получать продукты и услуги отличного качества, отвечающие их потребностям. Давление постоянно ужесточается.

Анализ Больших Данных

Анализ Больших Данных является краеугольным камнем будущих успехов. В сентябре 2011 года Филип Картер из IDC представил доклад «Анализ Больших Данных: архитектуры, навыки и планы развития, которые понадобятся ИТ-директору» ("Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO"). В нем он показал, что ключевые отличия традиционного анализа от анализа в эпоху Больших Данных — это потребность в иной стратегии построения инфраструктуры и ином наборе навыков.

Но и сегодня один из наиболее серьезных вопросов, с которыми приходится сталкиваться организациям, по-прежнему связан с адекватным планированием, позволяющим извлечь из Больших Данных максимум пользы. Сейчас необходимо объединять функции бизнеса и ИТ-функции с целью совместной разработки архитектуры и создания планов, позволяющих расширить возможности, которые помогут компании как сегодня, так и в будущем.

Расширение возможностей бизнеса должно стать главной задачей при формировании стратегии развития ИТ и выработке согласованной между бизнесом и ИТ-службой политики. В 2011 году в IDC провели опрос ИТ-директоров, призванный выяснить, какие технологии, по их мнению, являются наиболее полезными для совершенствования конкурентных преимуществ. Самым популярным ответом стал «бизнес-анализ и аналитика».

Эффективно использовать данные при определении бизнес-стратегии непросто. Традиционные решения бизнес-анализа терпят неудачу из-за того, что вопросы, на которые потребуется получить ответ, заранее неизвестны. Хранилища данных приходится создавать, не зная, каким образом будет происходить выборка данных. Назовите это озером данных, резервуаром или предприятием по очистке. ИТ-директор должен понимать, что все данные имеют потенциальную ценность (если не для вас, то для возможных партнеров), а своевременное помещение данных в контейнер позволит аналитикам впоследствии заняться их изучением.

Аналитикам необходимо поддерживать тесную связь с бизнесом, чтобы лучше понимать вопросы, которые позволяют осветить данные (тогда будет легче выявить тенденции и общие принципы, формирующие стратегию бизнеса). После этого соответствующим образом адаптируется структура ИТ-систем, а затем процесс повторяется. Каждый цикл охватывает все больше данных, улучшаются возможности бизнеса в части принятия стратегических решений, технологии обработки данных приводятся в соответствие с их постоянно растущими объемами и сложностью. В настоящее время именно в этом заключается главный вопрос, связанный с Большими Данными.

Бизнесу следует создать структуру, которая обеспечила бы ему успех и помогла провести необходимые изменения. Повысив техническую оснащенность, можно будет принимать более грамотные решения, основанные на анализе данных и рассчитанные на долгосрочную перспективу. Организация сможет лучше понять своих клиентов и реагировать на их потребности.

Необходимо решить два вопроса. Во-первых, выделить время для анализа имеющихся данных и выявления тех преимуществ, которые они способны принести бизнесу. И, во-вторых, разработать план, закладывающий основы поддержки бизнеса посредством эффективного использования данных в ближайшие пять лет и на более долгосрочную перспективу. Тем самым будут созданы условия для интеграции Больших Данных в ядро бизнес-процессов.

Джон Сидху – партнер консультационной компании Glue Reply, специализирующейся на разработке ИТ-стратегий в интересах бизнеса.

Посмотрите, кто входит в число топ-менеджеров любой современной крупной компании, и вы наверняка увидите должности, которых еще несколько лет назад здесь не было: директор по данным (chief data officer), главный специалист по данным (chief data scientist), директор по аналитике (chief analytics officer) и т. д.

Данные присутствуют сегодня повсеместно и оказывают влияние не только на деятельность руководства компаний.

Вечная гонка в мире бизнеса заставляет компании собирать как можно больше данных как можно быстрее. При этом вопрос, как превратить эти огромные объемы в практическую ценность, оставляется на потом. Но сегодня это «потом» уже наступило, а в организациях ощущается острая нехватка специалистов по данным. К тому же планы по «выращиванию» таких специалистов имеются лишь в очень немногих компаниях.

Фактически на любом уровне организации сотрудники вынуждены иметь дело с растущими объемами данных, из которых необходимо извлекать полезную информацию. И сегодня требования к кандидатам на замещение вакантной должности – любой должности серьезно изменились.

«Современные работники должны хорошо ориентироваться в данных, – указал профессор бизнес-анализа Университета Цинциннати Джеффри Камм. – Быть ученым по данным требуется не от каждого, но каждый должен учиться использовать данные для принятия более обоснованных решений».

Легко сказать, однако реализовать такое на деле весьма непросто. Разрабочики корпоративного программного обеспечения уже начали внедрять в свои продукты новые, более простые инструменты, но в большинстве случаев задачи адаптации рабочей силы к меняющимся требованиям все равно ложатся на плечи компаний и вузов.

«Насколько я вижу, на практике сотрудников сегодня нужно готовить к двум основным ролям — аналитика данных и потребителя данных, – отметил Камм. – Уже сейчас предлагается более 100 программ подготовки аналитиков и исследователей данных с выдачей диплома магистра – гораздо больше, чем было всего несколько лет назад. Университеты прислушиваются к пожеланиям отрасли и разрабатывают очень хорошие программы в области анализа. Более сложной задачей мне представляется поиск наилучшего способа обучения оставшейся части персонала, начиная от администраторов торговых залов и операторов контакт-центров и заканчивая представителями высшего руководства. Независимо от их роли фундаментальный вопрос заключается в следующем: какими навыками анализа данных должен обладать человек для более качественного выполнения своей работы?»

К примеру, Университет Цинциннати предлагает различные курсы профессиональной подготовки в области обработки и анализа данных: «Современные методы добычи данных», «Анализ в Excel», «Предписывающий анализ: постановка и решение задач оптимизации» и целый ряд других.

Однако подобные программы пока остаются редкостью. «В целом университеты традиционно не преуспевают в обучении будущих менеджеров математическим и статистическим методам, – указал Том Дэвенпорт, профессор Колледжа Бэбсона, один из авторов курса количественного анализа. – Студенты не особо любят количественный анализ. А дополнительная неделя, выделяемая на эту дисциплину, посвящена скорее факторному анализу, чем количественному анализу в целом. И это большая проблема».

Ее решением занялся стартап DataCamp. Компания, основанная полтора года назад, предлагает студентам и профессионалам в области информационной экономики доступные интерактивные интернет-курсы, посвященные анализу данных.

В программе курсов рассматриваются темы визуализации данных, динамических отчетов, программирования на языке R и Больших Данных. Однако ее авторы не придерживаются традиционных академических форматов. При изучении материала используются короткие видеоуроки и интерактивные задачи по программированию. Доступ к ним осуществляется через браузер. Некоторые занятия проводятся бесплатно, а желающие получать материалы в полном объеме могут оформить подписку стоимостью 25 долл. в месяц или 250 долл. в год. Стандартных дипломов DataCamp не выдает, но студенты получают значки и сертификаты о прохождении определенных курсов обучения.

«В течение первого года у нас прошли обучение 100 тыс. человек, – сообщил один из основателей и генеральный директор DataCamp Джонатан Корнелиссен. – Это показывает, что в мире существует реальная потребность в изучении анализа данных. Мы же видим свою миссию в поиске новых подходов к обучению по соответствующей тематике. Около 70% студентов DataCamp являются профессионалами, работающими в мире бизнеса. В своей деятельности им приходится постоянно сталкиваться с данными, которые требуют визуализации и понимания».

Будущие планы интернет-школы предусматривают создание курсов по очистке данных, манипулированию ими и моделированию.

Образовательные программы – лишь один из подходов, помогающий сотрудникам воспринимать данные по-новому, но далеко не единственный. Некоторые организации отдают предпочтение другим – гораздо более необычным направлениям.

Центр эпигеномики Медицинского университета им. Альберта Эйнштейна в Нью-Йорке поддерживает контакты с художником Дэниелом Коном, который помогает по-новому взглянуть на генетические данные.

«Мне интересен сам процесс создания смысловой нагрузки, – заметил Кон, проработавший в течение десяти лет художником в Институте Броуда, где занимаются расшифровкой генома. – Люди полагают, что все, что мы видим, существует на самом деле, и нам всего лишь нужно это усвоить».

Родившийся в Индии и выросший во Франции, Кон впитал в себя множество различных культур, а художественное образование помогает ему придерживаться необычных подходов. «Согласно общепринятому мнению, любую ситуацию можно рассматривать с разных точек зрения, – говорит он. – На полотне мы изображаем предмет не таким, какой он есть на самом деле, мы рисуем его с учетом определенных традиций».

Аналогичным образом, при взгляде на научные данные очень важно иметь точное представление о научных традициях, положенных в основу избранного подхода, а также понимать, что традиции эти являются не единственным возможным вариантом.

Распространено мнение, что для оперирования Большими Данными нужны лишь более мощные машины и улучшенные алгоритмы. «На мой же взгляд, для понимания окружающей нас реальности нужны новые метафоры, – считает Кон. – Истории, закладывающие новый смысл. Для мира, который меняется вокруг нас, нужны новые, соответствующие ему правила».

«Подход Кона может быть полезен, – признал директор Центра эпигеномики Джон Грейли. – Его сила заключается в его наивности и оторванности от темы. После показов он задает вопросы. Почему эта диаграмма представлена в синих и красных тонах? Что если после щелчка по точке откроется новое измерение? У него отличное визуальное восприятие, и это заставляет нас искать что-то новое. Есть надежда, что, побуждая ученых выходить за рамки традиционного для них мышления, он зародит искры понимания, имеющие самые неожиданные источники».

«Многие открытия совершались благодаря счастливому случаю, – указал Кон. – Ученые испытывали озарение, не имеющее рационального объяснения».

«Таким образом, нам нужны новые инструменты визуализации, позволяющие выносить интуитивные суждения о данных и не требующие полного представления о функционировании систем, – сделал вывод Грейли. – Партнерство наше продолжается всего полтора года, и оценивать все его преимущества еще слишком рано. Пока же можно сказать, что выбираемые нами сейчас формы визуального представления сложнее, чем традиционно используемые стандартные температурные карты и диаграммы разброса».

«Аналитики принимали косвенное участие в принятии бизнес-решений в прошлом, но сегодня в этом процессе им отводится фактически центральная роль», – заметил Кирк Борн, ученый по данным и профессор Университета Джорджа Мейсона.

А это в свою очередь требует новых подходов, основанных на множестве различных дисциплин. Компаниям же нужен достаточно широкий круг сотрудников, обладающих навыками анализа данных.

Оркестр, все музыканты которого владеют инструментом одного типа, не добьется больших успехов. Команда должна состоять из исследователей данных, которые дополняют друг друга и способны вместе выдать отличную музыку.

Группа исследователей из Швейцарской высшей технической школы объявила об открытии возможности сохранения информации в ДНК на срок не меньше двух тысяч лет; идет работа над файловой системой, которая позволит выполнять поиск по данным в столь необычном хранилище.

По словам ученых, в ДНК можно было бы сохранять целые библиотеки исторических текстов и правительственных документов или полные архивы коммерческих компаний, и все это в объеме капли жидкости.

Представляя свою разработку на конференции Американского химического общества, исследователи отметили, что у ДНК есть два важных преимущества перед жесткими дисками и другими электронными носителями: малые размеры и огромная долговечность.

В ходе презентации исследователи указали на недостатки современных электронных средств хранения. К примеру, внешний жесткий диск размером с книгу карманного формата может сохранить 5 Тбайт данных на срок примерно до 50 лет.

«В средние века в Европе монахи записывали сведения для потомков в книгах, и часть из них дошла до наших дней, — напомнил Роберт Грасс, профессор Швейцарской высшей технической школы. — Теперь же мы сохраняем информацию на жесткие диски, которые изнашиваются всего за несколько десятков лет».

В ничтожном фрагменте ДНК теоретически можно сохранить больше 300 тыс. Тбайт. Как отметили исследователи, археологические находки показали, что расшифровке поддается ДНК возрастом даже в сотни тысяч лет.

«Уже вскоре после открытия структуры ДНК стало понятно, что язык ее кодирования очень похож на двоичный код, используемый в компьютерах, — продолжил Грасс. — На жестком диске данные представлены нулями и единицами, а в ДНК это четыре нуклеотида — А, Г, Ц, Т».

Команда под руководством Грасса закодировала в ДНК 83 Кбайт текста: Федеративную хартию Швейцарии и трактат Архимеда «Метод теорем механики». Исследователи заключили ДНК в кварцевые шарики и нагревали их до 70 °C в течение недели, что, по их словам, соответствует хранению в течение 2000 лет при температуре +10 °C. Когда данные раскодировали, ошибок в них не было.

В 2012 году группа исследователей из Европейского института биоинформатики закодировала в ДНК речь Мартина Лютера Кинга в формате MP3 вместе со снимком JPEG и несколькими текстовыми файлами.

Ученые опубликовали доклад в Nature, сообщив, что с помощью их метода данные в ДНК можно сохранить на десятки тысяч лет. Было показано, что в ДНК в объеме примерно чашки можно записать по меньшей мере 100 млн часов видео высокой четкости.

Считывание из ДНК — относительно простая процедура, а вот процесс записи сопряжен с трудностями. Проблемы две: во-первых, с помощью доступных на сегодня методов можно синтезировать лишь короткие нити ДНК; во-вторых, и считывание, и запись чреваты ошибками, особенно при повторении одной и той же буквы основания в последовательности.

Швейцарские ученые предложили способ, с помощью которого ДНК можно сохранять в течение длительных периодов времени, а теперь пытаются создать файловую систему, которая позволит избегать ошибок чтения и записи.

«Вот что такое ДНК-память: это капля жидкости с плавающими в ней молекулами, на которых закодирована информация, — пояснил Грасс. — Сейчас у нас есть только возможность считать сразу все, что есть в этой капле. Но я не могу выбрать конкретное место капли и получить только один файл».

Исследователи работают над способами маркировки фрагментов информации в нитях ДНК, чтобы по ним можно было выполнять поиск.

Как и многие технологии на начальной стадии развития, ДНК-хранение будет обходиться недешево. По словам Грасса, кодирование и сохранение всего нескольких мегабайтов стоит несколько тысяч долларов, так что у потребителей пока не будет возможности купить себе домашний ДНК-накопитель.

1. Концепция совершенно новая. Термин «озеро данных», предложенный техническим директором компании Pentaho Джеймсом Диксоном, обсуждается уже несколько лет. Но, по словам аналитика IDC Ашиша Надкарни, идея использования озер данных в качестве ресурсов корпоративного уровня все еще находится в зачаточном состоянии. Озеро данных определяется как большое – и относительно дешевое – хранилище данных, построенное по образу Hadoop, в котором размещаются все типы необработанных данных. Впоследствии они могут понадобиться для бизнес-анализа или добычи данных. В озере данных все элементы хранятся в своей первоначальной форме, необработанной и неуправляемой.

2. Купить готовое к использованию озеро данных невозможно. В своей рекламе поставщики утверждают, что озера данных станут для проектов Больших Данных панацеей, но это не так. «Как и в случае с хранилищами данных, озера данных – это концепция, а не технология, – указал аналитик Gartner Ник Хойдекер. – Для создания озера данных вы можете использовать различные технологии. По сути, озеро данных – это стратегия хранения».

3. Озера придуманы для накопления Большие Данных. Озера предназначены для приема данных – процедуры, которая включает в себя сбор, импорт и обработку данных для хранения и последующего их использования. «Там, где организация хранилища данных оказывается слишком громоздкой для масштабного приема, вступают в действие озера данных, – пояснил Хойдекер. – Озеро данных не требует предварительного создания схемы. Данные просто заносятся туда, а схема создается и применяется уже в процессе их извлечения».

4. В проектировании должны участвовать самые разные специалисты. Озера данных представляют собой ресурсы для всей организации, а не только для ИТ-службы. Поэтому к планированию проектов озер данных следует привлекать все заинтересованные стороны. «Речь идет о центральном компоненте архитектуры Больших Данных всего предприятия, который невозможно реализовать в отрыве от всего остального, – отметил Надкарни. – Помимо ИТ-менеджеров в проект озера данных необходимо вовлекать руководителей бизнеса и пользователей. И ключевую роль здесь должны сыграть эксперты по системам хранения. В конечном итоге дело сводится к построению платформы хранения, а ее проектирование и реализация невозможны без участия специалистов по хранению».

5. Основные выгоды определяются не технологией. «Ценность озер данных для бизнеса мало зависит от выбранной технологии, – утверждает Хойдекер. – Ценность для бизнеса определяется накопленным опытом управления данными, который можно применить к озеру. Озера данных не являются заменой существующим аналитическим платформам или инфраструктуре. Они дополняют собой ваши усилия и помогают поднимать новые вопросы. После того как эти вопросы сформулированы, они 'оптимизируются' для получения ответов. Оптимизация может заключаться в том числе и в отходе от озера в сторону киосков или хранилищ данных».

Большинство участников рынка решений для работы с Большими Данными стремятся объединить возможности по обработке данных различной природы. Структурированные данные бизнес-приложений, годами накапливаемые в корпоративных хранилищах, и безграничные потоки новых типов данных из социальных сред и от различных устройств формируют информационный актив, из которого при умелом подходе компании могут извлечь дополнительную прибыль.

Однако нельзя забывать и о пассиве Больших Данных – тех обязательствах, которые накладывает владение ими на организации. Ведь получить ценность из гигантских объемов данных вряд ли удастся без продуманной организации их хранения, резервирования и архивирования, обеспечения безопасности, удовлетворения нормативных требований и прочих рутинных, но крайне важных процессов.

Чтобы обеспечить баланс между активами и пассивами Больших Данных, повышая вес активов и снижая стоимость пассивов, нужны правильные инструменты. Компания Hewlett-Packard, всерьез задумавшись над этим, включила в свой портфель Big Data, наряду с единой платформой для обработки разных типов данных, системы для управления корпоративной информацией. На пресс-завтраке в Москве представители компании рассказали об обновленной стратегии HP в области Больших Данных и анонсировали успешные проекты.

Новая структура программного портфеля компании по работе с Большими Данными состоит из двух основных компонентов. Первый – это платформа HP Haven, основным назначением которой является предоставление заказчикам возможности строить эффективные аналитические приложения для максимально полного раскрытия потенциала, заложенного в накапливаемых данных различных типов. Если HP Haven решает задачу повышения веса активов Больших Данных в компании, то снизить вес пассивов поможет второй компонент – набор готовых решений HP Big Data Solutions, интегрирующий в традиционные инструменты управления информацией возможности работы с Большими Данными.

Единая платформа

Платформа HP Haven базируется на двух механизмах – системе обработки неструктурированных данных HP IDOL (Intelligent Data Operating Layer) и высокопроизводительной аналитической базе данных HP Vertica. Они не просто интегрированы между собой, но, что самое важное, объединены общей концепцией: платформа Больших Данных должна давать возможность обрабатывать 100% доступных данных, поддерживать различные варианты развертывания (локально и в облаке) и предоставлять API для разработки приложений на своей базе.

«Для принятия управленческих решений бизнесу уже недостаточно традиционных инструментов, не способных работать с многократно возросшими объемами машинных данных, доля которых неуклонно растет, и социальными данными – информацией о взаимодействии людей, — объясняет Евгений Степанов, руководитель направления по продвижению решений НР Big Data в России. – Невозможность оперативно учесть влияние такого рода данных на события, например, в области корпоративных рисков или соблюдения нормативных требований чревато крахом бизнеса. Именно поэтому мы в HP систематически работаем на совершенствованием единой платформы, поддерживающей все возможные типы данных в организации».

Оба инструмента платформы интегрированы с Hadoop, наиболее популярной на сегодня технологией хранения больших объемов неструктурированных данных. HP Haven включает в себя дистрибутив Hadoop компании Hortonworks, но позволяет работать и с другими реализациями этой системы. «Сегодня рынок Больших Данных взрослеет – заказчикам уже недостаточно развернуть хранилище разнородных данных на базе Hadoop, они стремятся получить эффективные средства аналитики и управления этими данными. Платформа HP Haven предоставляет им такие возможности», — подчеркивает Степанов.

Примером реализации перспективного подхода к работе с данными на базе платформы HP Haven может служить концепция «озера данных» (data lake), востребованность которой становится все более заметной. Информационная инфраструктура современной компании должна быть очень динамична из-за необходимости работать с разнородными источниками данных и вследствие частых процессов поглощения и слияния с другими бизнесами. Возникает потребность в альтернативе традиционным хранилищам, монолитная структура которых осложняет интеграцию новых источников данных. Система HP Vertica, получившая широкое распространение в качестве классического корпоративного хранилища, с неменьшим успехом может выступить как база для создания озера данных благодаря практически неограниченной масштабируемости (от одного терабайта в бесплатной версии Vertica Community Edition до десятков петабайтов данных) встроенных аналитических функций и возможности интеграции, с одной стороны, с Hadoop, а с другой – с различными системами анализа данных. Озеро данных, реализованное на базе платформы HP Haven, не только обеспечивает сбор разнородной информации в единой среде, но и позволяет задать определенные правила работы с этими данными, наполняя смыслом их интеграцию.

Управление Большими Данными

Рост объемов различных типов неструктурированных данных, от которых зависит работа компании, налагает особые обязательства по их управлению – без эффективных инструментов информационные пассивы могут лишить бизнес возможности инновационного развития с использованием Больших Данных, заставляя идти на несоизмеримые затраты времени и средств только на то, чтобы разобраться в своих документах и обеспечить их сохранность. Трансформация традиционных решений по управлению информацией в сторону поддержки механизмов Больших Данных – не дань моде, а объективная потребность заказчиков, подчеркивает Евгений Степанов: «Даже для простого резервного копирования эффективность радикально повысится, если выполнять его не вслепую, а с пониманием той информации, которая резервируется».

Набор продуктов HP Big Data Solutions, являющийся вторым ключевым компонентом портфеля HP для работы с Большими Данными, адресует все основные задачи по управлению корпоративной информацией и включает в себя такие системы, как HP Data Protector для резервного копирования и восстановления, HP Consolidated Archive для универсального архивного хранения, HP Control Point для анализа и систематизации неструктурированных данных, HP Records Management для управления архивными записями. Все они оснащены механизмом HP IDOL, обеспечивающем широкие возможности поиска и анализа для более чем тысячи различных форматов данных.

Помимо развития основного портфеля продуктов по Большим Данным, компания HP уже не первый год работает над интеграцией этих инструментов в свои программные решения по управлению ИТ. Средства анализа Больших Данных в системе HP Operations Analytics для мониторинга ЦОД и модуле Smart Analytics в HP Service Manager обеспечивают этому традиционному направлению программной стратегии HP дополнительные конкурентные преимущества, и подобные возможности будут расширяться. Один из последних анонсов HP – включение инструментария Больших Данных в HP Service Anywhere, SaaS-версию ITSM-решения компании.

Корпорация Microsoft объединила ряд новых технологий обработки данных в одном пакете, который должен помочь организациям извлечь дополнительные ценности из растущего объема данных.

«Новый пакет Cortana Analytics разрабатывался для того, чтобы демократизировать Большие Данные, – заявил генеральный директор Microsoft Сатья Наделла на открытии конференции World Wide Partner Conference. – Благодаря ему любой бизнес сможет осуществлять преобразования, используя мощь данных. Мы стремились максимально упростить процедуру развертывания Cortana Analytics, потенциально расширяя тем самым сферу применения этих технологий».

На первый взгляд, Cortana Analytics преследует ту же цель, что и IBM Watson Analytics, еще одна система, в которой передовые аналитические технологии были интегрированы с целью упрощения их использования в самых разных отраслях.

Cortana Analytics охватывает различные аспекты корпоративной обработки данных, объединяя структурированные базы данных с неструктурированной информацией файлов журналов и потоками, поступающими в реальном времени с устройств Интернета вещей.

В новый пакет включены аналитические технологии Microsoft Power BI, предназначенная для представления данных в визуально понятных форматах, и Microsoft ML (Machine Learning), позволяющая прогнозировать будущие события на основе имеющихся наборов данных. Доступ ко всем этим функциям осуществляется через голосовой интерфейс персонального цифрового помощника Cortana.

Бизнес мог бы использовать соответствующее программное обеспечение для выявления сокращения активности клиентов, которое свидетельствует о возможном уходе их к конкурентам. Применение Cortana Analytics Suite при планировании технической поддержки оборудования поможет находить оптимальные сроки при организации техобслуживания. При обращении к Cortana не нужно составлять никаких письменных запросов, достаточно голосом дать системе указание выполнить те или иные действия.

«Взяв на вооружение Cortana Analytics, вы получите все необходимое для создания фантастических решений для своих клиентов», – подчеркнул исполнительный вице-президент подразделения облачных технологий и взаимодействия с корпоративными клиентами Скотт Гатри.

Одним из первых пользователей нового программного обеспечения стала больница Dartmouth-Hitchcock. Технологии анализа Microsoft позволяют оптимизировать планы лечения пациентов с учетом истории их болезни и результатов медицинских исследований заболеваний, протекающих аналогичным образом.

В Microsoft намерены выпустить пакет Cortana Analytics Suite во второй половине текущего года. Оплату предполагается взимать ежемесячно на условиях подписки. Для решения конкретных задач, например, для обнаружения мошенничества, планируется выпустить ряд предварительно сконфигурированных пакетов.

Для каких участников гонки Tour de France день задался, а какие отчаянно пытаются ликвидировать образовавшийся разрыв, находясь уже в километре от лидеров?

Как правило, информацию такого рода довольно затруднительно получить даже специалистам по велогонкам, комментаторам и журналистам, которые внимательно наблюдают за телевизионной трансляцией и слышат указания тренеров в радиоэфире. Составить точную картину происходящего на каждом из 21 этапа этого увлекательного состязания весьма непросто.

Но уже в нынешнем году все стало по-другому. Любители одного из самых экстремальных в мире спортивных соревнований, включая миллионы телезрителей, могут наблюдать за этим динамичным зрелищем, словно за неспешной загородной прогулкой, оперативно получая все самые свежие данные в реальном времени.

Впервые в истории Tour de France – а может быть, и всех прочих спортивных состязаний – зрители, следящие за развитием событий по телевизору и в Интернете, благодаря датчикам GPS, смонтированным под седлами велосипедов каждого из 198 участников гонки, смогут мгновенно узнавать текущую скорость и прочие интересующие их сведения.

В результате взаимодействия компании ASO, являющейся владельцем и организатором Tour de France, и поставщика ИТ-услуг Dimension Data зрителям будут доступны данные о темпе участников, расстоянии между ними и, конечно, о точном положении каждого из них на дороге.

К закрытой информации, которая будет видна только членам команд-участниц, относятся биологические параметры: частота пульса, энергетические затраты и т.д.

Когда-то такое в велоспорте казалось совершенно невероятным. Теперь же многие гонщики испытывают досаду. Они предпочли бы, чтобы их неудачи и тщетные попытки достать уходящих вперед соперников не транслировались на весь Интернет.

«Современные технологии позволят болельщикам увидеть все перипетии гонки, – отметил председатель совета директоров Dimension Data Джереми Орд. – Ранее об этом нельзя было и мечтать. Зрителям трудно было понять, что происходят за пределами области, попадающей в объектив телевизионной камеры. Наше решение помогает оценить шансы преследователей догнать лидеров, получить точную информацию о том, какие гонщики находятся в общей группе, следить за скоростью каждого из них и узнавать многие другие сведения. За три недели, которые продолжается гонка, мы представим массу нововведений, в том числе и бета-версию сайта, на котором в реальном времени можно будет следить за положением спортсменов. Создание аналитической платформы, позволяющей оперативно обрабатывать все эти данные, представляется весьма актуальной задачей».

Ожидается, что от 17 млн посетителей сайта будет поступать в среднем 2 тыс. запросов в секунду, а 75 млн операций считывания информации GPS позволят охватить 42 тыс. точек, характеризующих текущее местоположение 198 велогонщиков.

Болельщики и журналисты узнают об эффективности работы каждого из 198 спортсменов на протяжении всех трех недель. Это станет лучшим аргументом в пользу их умения управлять своим весом.

Большие Данные уже не первый раз используются для анализа спортивных показателей (например, в футболе), но никогда ранее они не предлагались всем желающим без какого-либо предварительного редактирования.

В велоспорте ситуация меняется довольно быстро, и уследить за этим очень сложно. Протяженность этапов велогонки Tour de France зачастую превышает 200 км. Соревнования проходят в горах, при неблагоприятных погодных условиях, а камеры, размещенные на мотоциклах и вертолетах, чаще всего позволяют получить лишь общую картину происходящего.

«Передовые технические разработки позволят улучшить анализ гонки, прояснить тактику ее участников и продемонстрировать, насколько важна роль каждого из гонщиков в успехе команды, – указал директор Tour de France Кристиан Прюдом, всегда выступавший за продвижение инноваций и вывод велоспорта за узкие рамки сложившихся традиций. – Теперь мы сможем понять, как каждый из спортсменов готовится к финишному спурту на последних километрах дистанции, прочувствовать влияние ветра на скорость гонщиков и узнать многое другое. Надеюсь, что совместными с Dimension Data усилиями нам удастся изменить восприятие Tour de France и отношение людей к велоспорту в целом».

Технология, положенная в основу новой системы, была испытана победителем Tour de France 2014 Винченцо Нибали на недавно прошедших соревнованиях Criterium du Dauphin.

«Мы проанализировали, каким образом велосипедисту удалось развить скорость в 104 км/ч, – отметил Орд. – Ранее информация такого рода была недоступна».

В ближайшее время Dimension Data опубликует ссылку на сайт Tour de France, пока же болельщики могут наслаждаться очень красивой рекламой. Интересно, как бы отнесся ко всему этому итальянский идол велогонок 50-х годов Фаусто Коппи? Скорее всего, улыбнулся бы, после того как система объявила, что его вечный соперник Джино Бартали в очередной раз остался позади.