Помочь может наглядная визуализация данных, полагает Андрей Скворцов, директор группы компаний «Меркатор», специализирующейся в области инфографики. На форуме Big Data 2015, организованном 24 марта издательством «Открытые системы», он предложил три простых правила представления данных в наглядном виде. Визуализированные данные должны вызывать удивление, показывать контрасты; кроме того, необходимо представлять все данные — иначе они будут не столь убедительны.

Первым «визуализатором», по его словам, стал математик и астроном Урбен Леверье, наиболее известный своим «открытием Нептуна на кончике пера». После того как шторм в ноябре 1854 года изрядно потрепал англо-французский флот под Севастополем, французский император Наполеон III обратился к ученому с вопросом относительно предсказуемости такого рода явлений. Леверье изучил траекторию урагана и предложил основать сеть метеорологических станций для заблаговременного отслеживания природных катаклизмов. Император, удивленный невиданными доселе картинками движения атмосферных фронтов, дал добро.

Качественная иллюстрация лучше тысячи слов расскажет о том, в каких странах энергетики «ставят» на ветер и воду, а в каких — на уголь и мирный атом Источник: «Меркатор»

С этих карт Леверье, считает Скворцов, и началась визуализация данных. Она позволяет сделать данные более наглядными — отобразить ход застройки центра Москвы по годам, представить транзакции Сбербанка в реальном времени или показать, в каких странах Европы предпочитают маленькие ветровые электростанции, в каких — большие атомные и тепловые. А порой она дает возможность вскрыть некоторые прчинно-следственные связи, особенно при работе с малоформализуемой информацией. Например, графически отобразив взаимоотношения в коллективе, можно найти в нем отчетливые группы друзей. Или понять, как реально повлиял на динамику продаж приход нового руководителя.

Самый поучительный пример формально касался степени совпадения динамики бюджета США с прогнозами относительно этой динамики. Прогнозы, как отметил Скворцов, были двух типов: «Все хорошо» и «Сейчас не очень, но скоро все будет хорошо». Реальность несколько отличалась, и, по словам директора «Меркатора», такая ситуация характерна для госучреждений отнюдь не только нашего заокеанского партнера.

Как заявил Сергей Карелов, председатель совета «Лиги независимых экспертов», именно так сейчас обстоит дело с Большими Данными и будет обстоять еще пару лет. И в течение этого времени 60% проектов, связанных с Большими Данными, будут заканчиваться на стадии «пилотов». Эти свои соображения он высказал на форуме Big Data 2015, организованном издательством «Открытые системы».

Для того чтобы попасть в оставшиеся 40%, полагает Карелов, надо отдавать себе отчет в том, что вокруг Больших Данных за время Больших Надежд создано немало мифов, которые он разбил на три группы — мифы «о проектах», «о данных» и «о людях».

«Проектная» группа самая многочисленная. Сюда входят мифы о том, что все вокруг уже используют Большие Данные, и поэтому надо торопиться с внедрением соответствующих систем (на самом деле даже на Западе реально работают с такими системами лишь 13% компаний); что Большие Данные представляют некую ценность «по умолчанию» (на самом деле — только если аналитики найдут в них какую-то полезную информацию); что «продвинутая аналитика» есть усовершенствованная версия «обычной» (на самом деле последняя — чисто описательная, а Advanced Analytics – предсказательная, и для нее нужны другие инструменты и другой аналитический опыт); что если собрать огромный объем данных из множества источников, то они станут «непредвзятыми» («предвзятость» возникает уже на этапе отбора источников и даже целеполагания). И наконец, что Большие Данные позволят отказаться от традиционных подходов: как сформулировал Карелов, «Hadoop заменит Data Warehouse». Это, по его словам, тоже неправильное представление о путях прогресса, и только 5% компаний планируют заменить хранилища данных на Hadoop.

Из мифов «про данные» наиболее интересно звучит несогласие с популярным ныне тезисом о том, что 80% всех данных — неструктурированные. Это не так, полагает Карелов, все данные структурированы, просто структура может быть неочевидной. И первым делом надо попытаться осознать эту структуру.

Другой миф состоит в том, что «чем больше данных, тем точнее предсказания на их основе». Он логически вытекает из «проектного» мифа про непредвзятость Больших Данных. И Карелов советует рассмотреть вопрос, не лучше ли заняться изучением классических «Малых Данных», если Большие все равно не обеспечат нужной точности предсказаний.

Что до кадрового вопроса, то главный из мифов — о том, что с развитием инструментария по операциям с Большими Данными исчезнет дефицит специалистов по работе с ними. Уже сейчас, по оценке Карелова, заполнена лишь треть вакансий категории Data Scientist, а в 2016-2017 годах, несмотря на наблюдающееся падение энтузиазма (а может, и отчасти благодаря ему), положение с кадрами станет еще хуже. Это означает, что нужных сотрудников нельзя будет «купить» на стороне (возможность такой покупки — это второй «кадровый» миф), их придется искать и выращивать в своей компании или хотя бы в своей предметной области, особое внимание обращая на людей, которые работают с данными в вашей собственной организации: может быть, у них появилось инстинктивное, «на кончиках пальцев понимание того, что именно следует делать с данными.

Выводы, вытекающие из мифов и их разоблачений, впрочем, применимы к любой ситуации: тщательно обдумайте проект (что делать, как делать и делать ли вообще или остаться при традиционных методах обработки, если ваши данные не являются «Большими») и ни в коем случае не начинайте его, не решив кадровую проблему.

24 марта в ходе форума Big Data 2015, организованного издательством «Открытые системы», корпорация EMC представила новое платформенное решение для работы с Большими Данными — Federation Business Data Lake.

FBDL – это первый плод совместных усилий подразделения EMC Information Infrastructure и компаний Pivotal и VMware, также входящих в «федерацию EMC». Предложенное ими решение представляет собой интегрированный технологический стек, охватывающий ключевые задачи построения так называемых озер данных (data lake).

Как пояснил Святослав Сухов, директор дивизиона EMC Isilon в России и странах СНГ, озера бизнес-данных нужны для нового класса задач, решить которые в рамках традиционных хранилищ данных невозможно или очень проблематично. Сегодня крупные корпоративные заказчики концентрируют в своих ИТ-системах огромные объемы структурированных и неструктурированных данных из множества разнотипных источников. Создание оптимальных условий для хранения и последующего анализа этих данных, то есть создание озер, открывает принципиально новые возможности для бизнеса — компании смогут гораздо точнее прогнозировать свое развитие и реагировать на любые события буквально в реальном времени.

Реализовать эту модель до сих пор мешает сложность построения инфраструктуры, соответствующей уровню поставленных задач. И основная идея разработчиков FBDL состоит в том, чтобы предоставить предприятиям продукт, позволяющий ускорить и автоматизировать развертывание инфраструктуры для озер и работы с Большими Данными, причем на всех основных этапах, включая хранение, анализ и визуализацию результатов для принятия бизнес-решений.

Принципиально важно, что идеология FBDL предлагает заказчикам свободу выбора на основных уровнях технологического стека инфраструктуры озер. Сейчас эта возможность в полном объеме реализована в слое аналитики.

Сухов полагает, что впоследствии клиент сможет выбрать и наиболее подходящую для него систему хранения. Пока же, с точки зрения EMC, функции хранения в озерах данных эффективнее всего решаются с помощью горизонтально масштабируемых систем EMC Isilon, консолидирующих в себе данные любых форматов.

А вот организовать анализ этих данных в FBDL возможно наиболее распространенными средствами, действующими на основе Hadoop, In-Memory No-SQL и Scale-out MPP. В EMC оставляют за клиентами выбор дистрибутива Hadoop, включая Cloudera и Hortonworks, а также новые дистрибутивы на основе открытых платформ. Но в базовом варианте средства анализа включают в себя пакет Pivotal Big Data Suite, в том числе решение PivotalHD с ведущим модулем HAWQ для реализации технологии SQL-on-Hadoop. Средства анализа в FBDL виртуализированы с помощью решений VMware на базе Vblock. Вероятно в перспективе заказчики смогут задействовать и средства виртуализации других поставщиков.

Функции визуализации результатов анализа данных и прогнозирования для принятия бизнес-решений реализованы в FBDL на основе платформенного сервиса Pivotal Cloud Foundry.

В EMC утверждают, что проработали все вопросы интеграции и совместимости элементов предложенного стека озера данных, и планируют обеспечить заказчикам единую точку входа при внедрении решения FBDL и его последующей поддержке.

Как сообщается, с помощью FBDL предприятия получат возможность развертывать массивы Hadoop и системы анализа данных в реальном времени всего за семь дней. Подобное ускорение обеспечивается не только высокой степенью интеграции составляющих решения, но и благодаря целенаправленной помощи EMC своим заказчикам при освоении озер данных. С этой целью корпорация разработала набор услуг и обучающих программ. Они помогут клиентам оценить возможности FBDL и быстро подготовить сценарии обработки Больших Данных.

Решение FBDL будет доступно в апреле. По оценкам EMC, продукт будет востребован только очень крупными компаниями – число его потенциальных заказчиков в нашей стране сейчас не превышает двух-трех десятков.

«Сложились очень необычные условия, в которых предприятия получили возможность повысить эффективность бизнеса, применив передовые подходы к формированию ИТ-инфраструктуры», — считает генеральный директор ЕМС в России и СНГ Сергей Карпов, поделившийся с Computerworld своим видением происходящего в индустрии ИТ.

- Как бы вы в целом охарактеризовали ситуацию на российском рынке?

Текущая ситуация отражает состояние экономики в стране. В целом рынок снижается. На мой взгляд, это происходит не такими быстрыми темпами, как можно было ожидать. Важно, что спад идет на фоне тектонического сдвига, происходящего в ИТ-индустрии на глобальном уровне. Мы переживаем интересный момент. С одной стороны, налицо давление слабых экономических показателей; это касается не только России, а почти всех стран СНГ. С другой — заказчики переосмысливают подходы к построению и использованию своих информационных систем. Предприятия проявляют заинтересованность в модернизации на основе современных технологических и организационных приемов — совершенно иных, чем три-пять лет назад. Появилось много новых возможностей для компаний, осознавших, что приход так называемой третьей платформы ИТ — стратегическое направление развития. Решения для «третьей платформы» пока занимают небольшую долю рынка, но их применение расширяется гораздо быстрее, чем растут классические направления. В кризисной ситуации, когда возможности предприятий для инвестиций в инфраструктуру ограничены, у них появляется стимул к перестройке своих ИТ на основе передовых технологий. Только это позволит эффективно развивать бизнес в сложившихся экономических условиях.

- Какие акценты будут сделаны в стратегии EMC для адаптации к складывающимся условиям?

Есть факторы, на которые мы не можем воздействовать. EMC принимает эти факторы такими, какие они есть, но пытается минимизировать их негативное влияние на взаимодействие с заказчиками. Мы делаем все, чтобы у клиентов в это непростое время была возможность продолжить работу по адаптации своих ИТ к новым условиям.

- Какие выводы можно сделать, сравнив нынешнее положение в ИТ-индустрии с кризисной ситуацией 2008-2009 годов? Что общего и в чем различия с точки зрения поставщика ИТ-решений?

Глубинные причины текущего и прошлого кризиса разные. Спад 2009 года был в основном обусловлен внешней экономической конъюнктурой. Теперь же на ситуацию в России больше влияет геополитика. С точки зрения поставщика различия заключаются в том, что сейчас идет масштабная перестройка в самой ИТ-индустрии — начиная с того, что практика построения облачных структур стала обыденной, и заканчивая появлением инновационных идей, таких как «озера данных» или «третья платформа». Появляются элементы бизнеса, которые базируются исключительно на ИТ. Пять-шесть лет назад такого еще не было.

- Как изменилась сама EMC за это время?

EMC трансформируется как минимум с той же скоростью, с какой происходят изменения в ИТ-индустрии. Надеюсь, даже быстрее. С 2008 года в компании оформилась концепция преобразования в «федерацию EMC», которая сегодня состоит из четырех компаний, достаточно независимо ведущих операции по всему миру. Это EMC, Pivotal, RSA и VMware. «Достаточно независимо» здесь очень правильное выражение, потому что, когда компании тесно интегрированы, они как бы навешивают друг на друга дополнительную бесполезную нагрузку. И это мешает их развитию. В «федерации EMC» такой проблемы не существует. У каждой компании своя миссия: RSA обеспечивает информационную безопасность заказчиков, VMware предоставляет облачные технологии с точки зрения программного обеспечения и работы с вычислительными мощностями, EMC решает вопросы облачного хранения, а Pivotal поддерживает открытые стандарты и разработки с открытым кодом. Создание такой «федерации», которая может предложить конгломерат решений, органично сочетающихся друг с другом, но при этом сохраняет необходимую свободу действий для своих участников, и есть главное изменение, произошедшее с EMC за последние годы.

- В условиях сокращения бюджетов заказчикам важны интегрированные решения и упрощенный доступ к ним, желательно «из одного окна». Как организовано взаимодействие офиса EMC с Pivotal, RSA и VMware на российском рынке?

Не думаю, что заказчик хочет получить все «из одного окна». С одной стороны, это было бы удобно. Но мы неоднократно наблюдали, как клиент, работая с одним вертикально интегрированным вендором, поставляющим все решения из одних рук, в момент «икс» оказывается привязанным к нему — настолько, что экономическая эффективность взаимодействия сильно падает. Ни один вендор не может себе позволить самостоятельно развивать абсолютно все технологии на всех уровнях вертикально интегрированного стека, без значительного удорожания конечных продуктов и услуг. Идея, пропагандируемая EMC, иная. Мы предлагаем заказчику построить полнофункциональный, вертикально интегрированный стек с возможностью замены каждого его элемента на альтернативное решение, доступное на рынке.

- На всех ли уровнях стека работает эта идея?

Есть такое английское слово — commodity, «ширпотреб». На определенном уровне заказчику безразлично, решения каких именно вендоров использовать при построении ИТ-систем. По большому счету клиентам все равно, какие, например, модули памяти будут установлены в их серверах. Почти то же сейчас происходит и на более высоком уровне, например на уровне систем хранения данных. На 80-90% функционал систем всех поставщиков схож. Но наши решения обладают дополнительными качествами — они лучше управляемы, позволяют быстрее выделять нужные ресурсы, легче интегрируются с программными средствами, продуктами виртуализации и т. д. При построении гибридных облачных инфраструктур именно эти отличия приобретают первостепенное значение для заказчика.

- EMC ратует за переход заказчиков от частных к гибридным облачным структурам. Актуален ли такой переход в период экономического спада?

Актуален, поскольку гибридное облако позволяет в условиях ограниченного бюджета построить инфраструктуру, которая будет расширяться так же легко, словно она стоит у самого заказчика. Вместо приобретения элементов инфраструктуры в собственность компании организуют предоставление пользователям ИТ-сервисов на основе ресурсов, арендованных у внешнего поставщика. В этом случае предприятие может изрядно оптимизировать свой ИТ-бюджет, оперативно масштабируя инфраструктуру под конкретные задачи бизнеса. А сэкономленные финансовые ресурсы могут быть направлены на расширение частного облака. В России уже действует немало доверенных сервис-провайдеров, работающих по общим стандартам, и заказчики могут воспользоваться их услугами, сократив тем самым затраты.

- Не слишком ли велик риск скомпрометировать данные в гибридном облаке?

В офисном здании, где мы сейчас располагаемся, есть оператор, обеспечивающий телефонную связь. Что для меня может быть более секретного, чем содержание моего же разговора по телефону? Теоретически его могут записать и использовать мне во вред. Но мы же доверяем поставщикам телефонных услуг свои переговоры, так почему мы не должны доверять облачным провайдерам хранение данных? Ведь они не меньше своих клиентов заинтересованы в поддержании режима информационной безопасности.

- В ноябре в EMC представили Enterprise Hybrid Cloud, охарактеризовав его как «новый взгляд» на гибридные облака. В чем новизна этого решения?

Новизна как раз в появлении понятия «доверенный сервис-провайдер». Крупные предприятия никогда не станут хранить критичные данные в публичном облаке. Им нужно хорошо знать своего провайдера, понимать, по каким стандартам, с какими технологиями он работает, чтобы доверять ему. На основе Enterprise Hybrid Cloud мы предлагаем предприятиям строить частное облако у себя, а провайдерам – формировать надежную и безопасную облачную среду для предприятий, когда тем необходимо на какое-то время расширить набор и объем предоставляемых ИТ-сервисов. Созданное таким образом гибридное облако работает на одних и тех же принципах, по тем же стандартам, которые использовались при создании внутреннего стека ИТ-решений заказчика. Так мы можем повысить безопасность в облачной среде.

- Каковы, на ваш взгляд, перспективы рынка решений для Интернета вещей? Может ли он стать новой движущей силой отрасли?

С точки зрения EMC, Интернет вещей – это прежде всего генерация Больших Данных. Главный вопрос в том, как получить преимущества для бизнеса и общества от их обработки, как правильно применить, как монетизировать этот гигантский объем данных. Пока наиболее развитым сегментом, где используются данные Интернета вещей, является мир мобильных устройств. Например, используя операторские сервисы, мы можем получить полезную информацию о местоположении близких или сотрудников предприятия.

Все это соприкасается с концепцией «озер данных», взятой на вооружение EMC. Мы можем предложить заказчику инфраструктуру для централизованного сбора данных от множества подключенных источников. Но знает ли заказчик, что с ними делать дальше? Благодаря сервисам Hadoop можно быстро организовать анализ и найти какие-то закономерности в массиве данных. Хуже, если неясно, что из данных можно извлечь и какие закономерности искать. А просто консолидировать данные в одной точке хранения и обработки бессмысленно. Примеры полезного применения концепции «озер данных» уже есть. Когда авиалайнер пролетает над Атлантическим океаном, каждый его двигатель собирает 2 Тбайт данных. Если сконцентрировать их в одном месте и сделать следующий шаг — организовать немедленную обработку, можно существенно повысить безопасность полетов. А вот что делать с подключенными к Интернету холодильниками или умными домами, пока не очень понятно. Мы ожидаем появления поколения новых консультантов, людей с иным видением того, как строить бизнес в экосистеме Интернета вещей. EMC, со своей стороны, предоставит им все необходимое для хранения и обработки данных из этой экосистемы.

Организации, рожденные цифровыми, строятся вокруг своей ИТ-платформы, а все их бизнес-процессы выполняются при помощи ИТ и подпитываются данными. Любое действие, любое решение базируется на обработке наборов данных с последующим анализом пользователей и клиентов, шаблонов эксплуатации, внешних условий и т.д.

Однако не каждая организация рождается цифровой. Как же преобразовать свой бизнес в цифровой тому, кто управляет традиционной компанией, у которой уже сложились определенные требования к ИТ? Как создать новые возможности для бизнеса, отталкиваясь от имеющихся цифровых активов?

Перечислим пять условий, которые помогут организовать этот процесс.

Перевод систем бизнес-анализа в режим реального времени

Возможно, вы уже накапливаете транзакционные данные в хранилище или киоске данных, так или иначе анализируя их. Возможно, уже определено, какие торговые представители будут тушить пожар, возникающий в конце каждого квартала. Подготовлен список клиентов, которым будет рассылаться новый каталог. На первом этапе становления цифрового бизнеса все эти мероприятия должны переводиться в режим реального времени. «В реальном времени» – это не обязательно за доли секунды. Я бы даже предпочел говорить не о реальном, а о «правильном времени»: контролировать ситуацию нужно именно тогда, когда это имеет действительно важное значение для бизнеса.

Вместо того чтобы оценивать эффективность торговых представителей по формальным признакам, выделяйте лидеров и предлагайте тем, кто обычно хорошо справляется со своей работой, но не имеет достаточного количества свободного времени, игровые задачи. Используйте сегментацию клиентов при продвижении приложений и распространении купонов.

Конечно, все это требует контроля за ситуацией и должно предлагаться в правильное время. Важным условием перехода к цифровому бизнесу является гибкость и быстрота реакции.

Встраивание аналитики в бизнес-процессы

Контроль за ситуацией и проведение анализа в реальном времени – это только начало. Бизнес-процессы необходимо реструктуризировать, чтобы обеспечить оперативное вмешательство в случае возникновения такой необходимости. Когда бизнес-анализ только входил в моду, обычно использовался термин операционного бизнес-анализа – концепция с тех пор не изменилась, только технология. Анализ в реальном времени, управление при помощи правил, интеллектуальные инструменты управления бизнес-процессами, коммуникационные протоколы с принудительной передачей данных открывают возможность внедрения и модификации правил, а также переключения и модификации действий на основе анализа текущей ситуации.

Постоянный поиск дополнительных данных

Ресурсы хранения нынче стоят дешево, а платформы обработки данных новейшего поколения упрощают накопление информации, даже если цели не вполне понятны. Возможно, вы еще не готовы перемещать свои системы обработки транзакций или инфраструктуру хранилищ данных с проверенных и испытанных мэйнфреймов и систем управления реляционными базами данных куда-то еще. И это нормально. Но рассмотрите, по крайней мере, возможность дополнения их озерами данными, базирующимися на Hadoop, и анализа этих озер, который ранее считался не заслуживающим внимания: журналы регистрации доступа, записи GPS, забытые корзины с отложенными товарами, записи об обращении к данным, сообщения с жалобами клиентов и т.д.

Все эти так называемые «темные данные» могут использоваться для новых видов анализа, для новых действий. Возможно, вы даже не вполне понимаете, о чем идет речь, но если не искать и не пробовать, все это так и останется вне поля вашего зрения.

Исследование новых способов использования данных

При наличии достаточных оснований аналитики должны получать неограниченный доступ ко всем данным. Я говорю «при наличии достаточных оснований», потому что в некоторых отраслях действуют специальные правила, и представители всех отраслей должны внимательно относиться к вопросам конфиденциальности. Но если аналитикам можно доверять, а грамотное управление исключает злоупотребления, позвольте экспертам исследовать данные. Они начнут генерировать идеи, некоторые из которых будут работать, а некоторые нет.

Измерить окупаемость инвестиций в инновации всегда сложно. Но инновации внедряются лишь тогда, когда людям приходят в голову свежие идеи.

Возможно, формально аналитиков данных в штате нет. Но хороший бизнес-аналитик, вооруженный современными инструментами подготовки и исследования данных, может добиться потрясающих результатов.

Предлагать новое чаще, тестировать постоянно, исправлять ошибки быстро

Последний пункт, пожалуй, наиболее важен. Цифровые организации отличаются гибкостью и быстротой реакции. Они всегда тестируют инновационные решения в условиях реальной жизни. Когда очередная функция готова, запускайте ее и оценивайте ее эффективность. Если ожидаемый результат не достигнут, будьте готовы вернуться обратно, пересмотреть предыдущую версию, внести в нее необходимые изменения и попробовать снова. По возможности тестируйте альтернативные варианты и оценивайте, какой из них работает лучше.

В Microsoft намерены оказать предприятиям помощь в установке и запуске распределенных систем Интернета вещей. Набор интегрированных с Microsoft Azure облачных сервисов поможет сократить сроки развертывания и устранить препятствия, связанные с управлением.

«Пакет Azure IoT Suite будет особенно полезен для решения трех типов задач: управления активами, удаленного мониторинга и профилактической поддержки, – указал руководитель программы управления сервисами Интернета вещей Azure Сэм Джордж. – Эти задачи актуальны для многих отраслей, а в особенности, для предприятий, имеющих большое количество физических активов». По прогнозам IDC, к 2020 году оборот рынка Интернета вещей превысит 5 трлн долл.

Пакет Azure IoT Suite, представленный на конференции Microsoft Convergence, появится в виде предварительной версии к концу текущего года. Он предназначен для обработки огромных объемов данных, поступающих от миллионов или даже миллиардов оконечных устройств. С помощью набора управляющих инструментов отдельные сервисы Azure могут использоваться для хранения и анализа данных, а также для передачи их другим приложениям.

Конкретный перечень технологий, которые будут включены в пакет, пока не сообщается, известно лишь, что предложение базируется на платформе Azure Intelligent Systems Service, которая была представлена Microsoft в прошлом году и предназначена для подключения датчиков и других устройств к облачным сервисам Azure.

Одним из компонентов пакета может стать сервис Azure Stream Analytics, который заработает в апреле. Он позволяет анализировать входящие потоки данных и быстро находить в них интересующие клиентов шаблоны.

Компания Rockwell Automation, занимающаяся автоматизацией промышленных систем, использует Azure для построения собственных систем Интернета вещей.

Компания собирает информацию с датчиков, смонтированных в нефтепроводах и других средствах транспортировки, с целью определения сроков замены оборудования. Анализируя данные в режиме реального времени, система Rockwell планирует мероприятия по техобслуживанию.

Чтобы помочь клиентам в развертывании их систем, Microsoft организует проведение ряда семинаров, посвященных Интернету вещей.

Однако у Винтона Серфа, которого часто называют «отцом Интернета», другое мнение по этому поводу.

Серф, выступающий ныне в роли главного проповедника Интернета в Google, опасается быстрой эволюции технологий и столь же быстрого устаревания форматов хранения. В этом мире приложения, нужные для чтения хранящихся сегодня файлов, могут быть утрачены из-за несовместимости с новыми аппаратными технологиями. В результате многие файлы окажутся недоступны будущим поколениям.

«Фактически, речь идет о необходимости поддержания минимальной совместимости по чтению со старыми форматами, даже если это отрицательно отразится на производительности, емкости или стоимости новых технологий, — отметил научный директор IDC Эрик Бердженер. — Идея хорошая, но дьявол, как всегда, кроется в деталях».

Примером создания таких технологий может стать проект Olive, реализуемый сейчас в университете Карнеги-Меллона. Возглавляемый профессором Махадевом Сатьянарайяном проект направлен на разработку технологий, которые понадобятся для долговременного хранения программного обеспечения, игр и другого исполняемого контента.

Впрочем, до тех пор пока новые инструменты не получат достаточно широкого распространения, никто ими пользоваться не будет.

«Строить здесь какие-то долговременные прогнозы тяжело, но я полагаю, что существуют реальные риски, и о них стоит задуматься всей отрасли», — указал вице-президент компании 451 Research по исследованиям Саймон Робинсон.

Тема эта для отрасли хранения не нова. Примерно десять лет назад в ассоциации Storage Networking Industry Association заговорили о создании «столетних архивов», которые позволили бы решать соответствующие задачи. Однако большинство подобных инициатив закончились неудачей.

Во многом это объясняется их низкой рентабельностью. «Получить необходимые инвестиции на проекты подобного рода весьма затруднительно», — пояснил Робинсон.

Дополнительные сложности создает и долгосрочный характер задач.

«Думаю, многие определенно чувствуют важность этого вопроса, но решить его в одиночку не в состоянии, — подчеркнул Робинсон. — И очень важно, чтобы Google и другие крупные игроки хотя бы продолжали говорить о рисках и потенциальных путях их устранения».

«Технологии повышают прозрачность управления, и это означает огромные перемены для страны. Вы должны помнить, что, как только переходите к технологиям Больших Данных, вернуться назад уже не получится», — говорит Тарик Малик, долгое время возглавлявший Национальное агентство по управлению базами данных и регистрациями граждан Пакистана (National Database & Registration Authority, NADRA), а ныне старший консультант по ИТ в госсекторе компании Teradata. Малик знает, о чем говорит: используя интегрированный подход к сбору данных и управлению ими, он не только создал одну из крупнейших в мире биометрических баз данных, но и обеспечил абсолютную достоверность и полноту информации о гражданах.

В 2012 году Малик был удостоен награды «CIO года», а в 2013 году Пакистан наградил его «Звездой непревзойденного мастерства» — высшей наградой в области технологий за вклад в улучшение государственного управления. В ходе встречи, организованной Teradata, Малик рассказал о своем опыте построения всеобъемлющего хранилища данных о гражданах, позволившего стране решить множество задач.

Малик пришел в NADRA в 2008 году. Тогда это была дышащая на ладан организация, у которой совершенно не было ни денег, ни четкого руководства; претендентов на роль руководителя тоже в общем-то не было. Сейчас же NADRA — одна из самых эффективных организаций в Пакистане. Прежде всего, такой успех стал результатом очень удачного проекта по построению единого хранилища данных о гражданах. Информационные услуги, предоставляемые на его основе, стали весьма востребованными внутри страны, а накопленный опыт по построению хранилищ данных используется правительствами других государств.

«Наш успех во многом стал следствием того, что мы придерживались интегрированного подхода: данные, получаемые от других агентств и прочих органов власти, мы смогли объединить и эффективно использовать», — подчеркнул Малик.

Перед организацией стояли очень амбициозные задачи. Ее руководство понимало, что если оно хочет способствовать созданию эффективного правительства, то столкнется с определенными вызовами. При этом было очевидно, что обеспечить потребности власти и общества можно только с помощью анализа имеющихся данных. Речь идет именно о Больших Данных, хотя на тот момент такого термина еще не было. «Дело не только в объемах, хотя они действительно огромны. В данных важен не размер, а их ценность», — подчеркнул Малик.

Как извлекать пользу из данных? В первую очередь их надо научиться интегрировать и анализировать – собирать из различных источников, объединять и получать желаемый результат. Естественно, чем активнее ведется анализ, тем быстрее растет ценность его результатов. Проанализировав данные, можно докопаться до сути любой проблемы и преобразовать результаты анализа в решения.

«Черная метка» для мошенников

Основой создаваемого хранилища стали собственные данные NADRA. Организация имеет более 500 стационарных и более 200 мобильных офисов, в любой из которых граждане могут обратиться для получения паспортов, идентификационных карт, водительских прав, свидетельств о браке, рождении и смерти и прочих документов. При регистрации граждан собираются их биометрические данные и цифровые фотографии. Все это позволило создать одну из крупнейших биометрических баз данных в мире, основанную на технологиях Teradata.

Это был очень долгий процесс: система управления идентификационными данными разрабатывалась с нуля, в процессе ее создания собиралась и вся необходимая информация о гражданах. При построении системы был принят интегрированный подход. Ее основу составили три ключевых компонента: первый отвечал за обработку отпечатков пальцев, второй – за обработку цифровых фотографий и распознавание лиц, третий – за обработку общей информации.

Источников информации очень много – это могут быть как различные государственные ведомства, так и коммерческие структуры. Тем не менее все полученные сведения объединяются в едином хранилище. Что крайне важно, вся информация о гражданах помещается в контекст их биографии и родственных связей. Такая целостность данных не позволяет гражданам обмануть государство.

«Например, мы всегда тесно сотрудничали с телекоммуникационными компаниями. Если сотовый оператор выдает SIM-карту, в первую очередь проверяется, что за человек ее использует», — подчеркнул Малик. Конечно, это очень помогает в борьбе с терроризмом, так как мобильные устройства сейчас используются не только в качестве инструмента общения, но и как средство дистанционного подрыва.

Собранная информация ложится в основу множества систем государственного уровня – например, системы пограничного контроля и национальной безопасности. Благодаря такому подходу было предотвращено более 500 терактов – это гораздо больше, чем число успешных попыток, информация о которых попадает в СМИ.

Собранные NADRA данные находят широкое применение и вне государственных организаций. Например, к ним обращаются банки при открытии счетов, чтобы убедиться, что человек является именно тем, за кого себя выдает, и попутно оценивают его как клиента. Стало уже общепринятым, что в процессе практически любых действий информация о человеке запрашивается из центральной базы.

Интеграция данных позволяет вскрыть многие факты мошенничества. Более того, если какой-то человек пытается обмануть систему (например, предоставляя недостоверные данные при открытии банковского счета или получении визы), информация об этом безнадежно портит его историю — человек фактически заносится в черный список, что ухудшает его дальнейшую жизнь.

«Благодаря тому что мы смогли объединить усилия всех агентств и правительственных учреждений, мы очень усложнили жизнь мошенников. Без совместных действий эта задача была бы невыполнимой», — уверен Малик.

Цифровая прозрачность

Не менее значимыми стали результаты работы NADRA в социальной сфере. Полная информация о гражданах позволила значительно оптимизировать работу с социальными выплатами, исключив многие коррупционные схемы.

Большой проблемой в Пакистане традиционно был сбор налогов. В стране с населением более 180 млн человек только 800 тыс. граждан платили налоги. Вполне логичным решением NADRA стало проведение аналитики по доходам граждан и оглашение результатов в парламенте. Эта история стала весьма громкой и даже получила освещение в CNN.

«Мы не преследовали цель влезть в чью-то личную жизнь, но собрать данные о людях, которые должны платить налоги, было чрезвычайно важно. Заодно следовало показать парламенту, что министерство, отвечающее за сбор налогов, работает крайне плохо. Естественно, что после этого доклада я столкнулся с определенными проблемами», — вспоминает Малик.

Последний проект Малика в роли руководителя NADRA был связан с корректировкой списка избирателей в 2013 году. Всех людей, приходивших на избирательные участки, сотрудники агентства фотографировали и собирали их отпечатки пальцев. Таким образом, была получена реальная информация о проголосовавших.

После подсчета голосов оппозиционные партии попросили NADRA провести аудит выборов. Во время проверок была выявлена масса нарушений, вплоть до уникального случая, когда один мужчина проголосовал более 3 тыс. раз на участке, предназначенном для женщин. Это был скандал национального масштаба, после которого Малику пришлось не только покинуть должность, но и уехать из страны, беспокоясь за безопасность семьи.

«Россия сможет справиться с любыми проблемами, если позволит данным говорить за себя. Этот подход уже доказал свою эффективность», — убежден Малик. Только с помощью интегрированного подхода к управлению данными государство может обеспечить полную прозрачность своей работы – улучшить избирательную систему, бороться с коррупцией и бедностью, оптимизировать банковскую систему, повысить уровень безопасности.