Качество данных становится ключевым фактором, определяющим, насколько успешными окажутся усилия предприятия по монетизации своих информационных активов, уверены участники Саммита по современному управлению данными, организованного компанией Syncsort — поставщиком решений, позволяющих обеспечить доступность больших данных для самых актуальных видов аналитической обработки. Выступившая на саммите доктор Тендю Йогуртчу, технический директор Syncsort,  отметила, что для достижения  высокого качества  данных  предприятиям нужно очень тщательно продумывать инфраструктуру данных и последовательно выстраивать процессы управления ими. Это поможет избежать множества проблем, которые, как известно, стремительно нарастают по мере увеличения объемов, потоков, скорости обработки, разнообразия форматов и источников данных.

- Сегодня в России многие инициативы в области управления данными сконцентрированы на их монетизации и получении выгоды для бизнеса. Как добиться успеха в этом направлении?

Все зависит от конкретной задачи и поставленных целей.  Необходимо  правильно определить источники данных и оценить, какие технологии понадобятся для обработки полученной информации. Ключевой фактор успеха — заблаговременный выбор подходящих метрик. Очень часто  компании задумываются  о качестве данных уже после завершения проектов,  но,  чтобы внести  необходимые изменения  на этой  стадии,  требуются серьезные затраты. Поэтому важно заранее определить, как будет осуществляться управление данными, где и как будут создаваться и обрабатываться данные, которым можно доверять, и затем выбрать технологии, способные обеспечить нужную гибкость и переход на перспективные платформы.

- Российские заказчики продолжают спорить, надо ли сохранять все данные или только те, ценность которых для бизнеса понятна уже сегодня. Каковы ваши рекомендации?

Считаю, что необходим компромисс. Всегда пригодятся прежние, «исторические» данные — например, для обучения создаваемых моделей и прогнозирования. Полноценный анализ данных реального времени с извлечением из них пользы тоже предполагает наличие больших объемов ранее накопленной информации. Поэтому следует искать возможности для снижения стоимости хранения как «исторических» данных, так и тех сведений, которые  необходимо хранить по требованиям  регуляторов. Сегодня можно организовать «холодное» хранение в облаке, переместив туда редко используемые данные, или задействовать различные инфраструктурные ресурсы.

- Менеджеры всегда хотят иметь достоверную актуальную информацию. Как обеспечить  и измерить ( что тоже очень  важно ) точность корпоративных данных?

Качество данных имеет первостепенное значение, и его обеспечение становится серьезной проблемой, поскольку источников данных сейчас гораздо больше, чем когда-либо. По мере того как предприятия все чаще используют для хранения новые решения, например блокчейн и облака, в ходе репликации неточные данные продвигаются все дальше и дальше, и зачастую  становится  трудно определить, на каком этапе они стали некорректными. В частности, блокчейн позволяет хранить информацию, которая никогда не может быть потеряна, изменена или удалена, но эта технология не способна выявлять поступающие на вход «плохие» данные. Поэтому крайне необходим контроль качества данных, поступающих в блокчейн.

Серьезным шагом к измерению качества данных станет возможность профилировать все ваши  данные. Это  позволит сразу же выявлять отклонения,  определять  процентное соотношение  несущественной информации  и  выполнять многие другие действия.  Кроме того, профилирование поможет определять бизнес-правила и оценивать, какая часть данных им соответствует.

Чтобы создать среду, способствующую получению точных данных, предприятиям следует сконцентрироваться на бизнес-проблемах, которые они пытаются решить. Конечно, многое зависит от применения правильных инструментов, но не менее важно, чтобы сотрудники, работающие с данными, понимали их суть и имели в своем распоряжении средства, которые позволяют  обнаруживать  любые отклонения от установленных регуляторами норм,  а также выявлять  персональные  данные и  данные платежных карт (PCI), не дожидаясь их перемещения на следующие этапы обработки и хранения.

Едва ли сотрудники смогут вручную отслеживать и оценивать  всю поступающую информацию  — у них попросту нет для этого времени. Зато компьютерная программа сможет быстро сканировать огромные объемы данных. Но алгоритмы машинного обучения окажутся неэффективными, если ими не будут пользоваться те специалисты, которые хорошо  разбираются в бизнес-проблемах  и  процессах  и знают, какие данные требуются и какие доступны для решения этих проблем. Алгоритмы ML могут генерировать оповещения в двух ситуациях: если возникает проблема, связанная с качеством данных,  и  если имеющиеся модели не могут прийти к какому-либо заключению. В последнем случае модели нужно переобучить или доработать. Следовательно, приоритетом ИТ-руководителя должно стать формирование компании, в которой грамотно работают с данными.

- Какие способы оптимизации инфраструктуры данных вы считаете наиболее эффективными?

Принцип номер один: принимая решение о хранении данных на платформе конкретного поставщика, вы должны продумать, как избежать его блокировки. Сегодня на рынке предлагаются как традиционные платформы (Teradata, Netezza, Oracle и пр.), так и облачные. Более того, организации могут хранить в облаке все свои данные, достаточно лишь выбрать инструменты, которые позволят управлять размещением  информации  и доступом к  ней  на нескольких облачных платформах. Некоторые крупные европейские банки используют сервисы трех облачных поставщиков. Если есть возможность задействовать  нескольких  провайдеров, надо ею воспользоваться, хотя это не всегда удается. В любом случае в составе инфраструктуры нужно иметь платформы для работы с критически важными данными. Крайне важно, чтобы эти платформы справлялись с сезонными и другими колебаниями транзакционной нагрузки.

- Многие клиенты пытаются обрабатывать и анализировать потоки данных. Нужно ли им кардинально менять свою ИТ-инфраструктуру? И есть ли способы обновления ИТ-инфраструктуры без «глобальных» изменений?

На этот вопрос нет однозначного ответа, поскольку надо понимать, что собой представляет ИТ-инфраструктура организации и какие бизнес-цели  стоят  перед сотрудниками. Так, предприятия, желающие создать озеро данных, чтобы объединить несколько разрозненных активов данных в масштабируемом репозитории для их  последующего  анализа, обычно настаивают на «глобальных» изменениях в инфраструктуре, но иногда можно выполнить «легкое»  обновление —  например, оптимизировав существующую облачную инфраструктуру. Кроме того, многие  организации  стремятся создавать потоковые каналы и обеспечивать обмен данными приложений внутри собственной сети, чтобы анализировать их в режиме реального времени.  Наша компания помогает  своим клиентам найти правильное решение для получения большей выгоды от имеющихся у них данных с опорой на уже сделанные  инвестиции. Мы  выстраиваем наши продукты семейства Syncsort Connect так, чтобы упростить интеграцию новых технологий в уже существующую ИТ-инфраструктуру, предоставляя возможности для создания потоковых каналов и более полного использования потенциала корпоративных данных.

- Количество источников данных, похоже, будет расти, и в ходе их интеграции наверняка возникнет проблема увеличения вариативности данных и, как следствие, усложнения систем. Что можно  сделать  с  этим? 

Мы уже видим, как предприятия буквально тонут в данных, поскольку число их источников за последние годы резко выросло, к тому же появились потоки и озера данных. Некоторые организации взяли стратегический курс на облака как приоритетные вычислительные среды, а другие твердо намерены хранить конфиденциальные данные внутри компании. Есть те, кто выбирает стратегию гибридного облака или использует облачные среды для архивных данных, чтобы предоставить их по первому требованию регуляторов.

Лучший способ подготовиться к росту числа  источников —  сосредоточиться на обеспечении качества данных до их отправки в облако, блокчейн и другие ресурсы для размещения, а также  убедиться в том,  что имеющиеся у вас системы очистки, обогащения и преобразования данных способны в достаточной степени масштабироваться.

- Какие проблемы станут наиболее важными с точки зрения управления данными в обозримом будущем?

Как уже  было сказано,  все большее значение придается качеству  данных. Необходимо гарантировать достаточно высокое качество  и  всей той информации,  что хранится на множестве унаследованных платформ, размещается на новых и используется для анализа в реальном  времени.  Кроме того, нужно обратить внимание на выполнение требований в отношении корпоративного управления  данными  и на  работу с метаданными, а также исключить  дублирование  информации. 

Еще одна проблема состоит в том, что ИТ-руководителям приходится решать сложнейшую задачу:  они должны  создать корпоративную инфраструктуру, которая, с одной стороны, способна противостоять серьезным угрозам, обеспечивая сохранность и безопасность критически важной информации, а с  другой —  демонстрировать высокую доступность данных и предоставлять широкие возможности для бизнес-аналитики. Многие организации инвестируют немалые средства в защиту от вирусов и вредоносных программ, управление обновлениями и исправлениями, обнаружение и предотвращение вторжений, а также в обучение сотрудников. Большое влияние на проекты в области управления данными окажут Общий регламент по защите персональных данных (GDPR), принятый ЕС в прошлом году, и Калифорнийский закон о конфиденциальности данных потребителей (CCPA), вступающий в силу в январе 2020 года. В связи с этим еще  большее  значение приобретают инструменты, способные сканировать данные с целью выявления в них конфиденциальной информации.

Компания «Юнидата» приняла участие в саммите Gartner Data & Analytics Summit 2019, который прошел 19-20 ноября 2019 года во Франкфурте-на-Майне (Германия). В течение двух дней ведущие европейские и мировые специалисты в области управления данными получали наиболее полную информацию относительно актуальных тенденций рынка управления данными и прогнозов по его дальнейшему развитию. Особый интерес вызвали выступления, посвященные будущему MDM, Data Governance и Machine Learning и Artificial Intelligence.

Генеральный директор компании «Юнидата» Сергей Кузнецов в своем выступлении подробно рассказал как о мировой истории разработки программного обеспечения с открытым исходным кодом, о современных реалиях управления данными предприятия и о том вкладе, который вносит компания в это направление. В частности, ее продукт Unidata Data Governance позволяет соединить и отследить все действия пользователей, связанные с данными через все уровни предприятий любого масштаба: от годовых отчетов руководства компании до колонки в таблице регионального подразделения. Специалисты компании представили на ее стенде англоязычную версию платформы и подробно рассказали о последних достижениях компании.

Gartner Data & Analytics Summit — крупнейшая конференция в области управления данными, посетит которую более 1500 человек. Выступления, презентации, круглые столы, мастер-классы, выставка — далеко не полный список мероприятий, которые прошли под эгидой саммита. Особый упор будет сделан на кластер Data Governance (MDM, DQ, Privacy, Security).

«Платформа Юнидата» — это многофункциональная платформа для построения систем управления корпоративными данными, обеспечивающих их централизованный сбор (инвентаризацию и учет ресурсов), стандартизацию сведений (нормализация и обогащение), учет текущей и исторической информации (контроль версий записи, периоды актуальности данных), качество данных и ведение статистики.

Компания Syncsort 24 октября провела Саммит по современному управлению данными. Его участники познакомились с новейшими подходами и технологиями, позволяющими повысить отдачу от инвестиций в информационные активы. 

Организаторы саммита постарались представить его гостям развернутый ответ на ключевые вопросы бизнеса в отношении данных: как добиться их монетизации и как получить максимум дивидендов от инвестиций в управление данными. Как известно, на пути к созданию предприятия, управляемого на основе данных, директора по ИТ сталкиваются с рядом непростых проблем. В частности, приходится иметь дело с быстро диверсифицирующимися данными, причем их объем стремительно увеличивается. Стандартным требованием со стороны бизнеса становится предоставление пользователям и аналитикам доступа к нужным им данным, которым они могут доверять. В отдельную проблему нередко выливается перенос данных из существующих систем в облачную среду или платформы больших данных, такие как Hadoop, Spark, облачные хранилища данных, Kafka. При этом необходимо обеспечивать поддержку актуальности, безопасности и синхронизации данных, и кроме того, эффективно управлять бюджетом, добиваясь снижения затрат и увеличения отдачи от инвестиций в данные, их хранение и обработку. 

Компания Syncsort рассказала участникам саммита, как ее технологии помогут решить многочисленные проблемы, с выгодой используя данные во всех направлениях бизнеса, предоставляя пользователям и аналитикам возможности принимать лучшие решения на основе точных данных; оптимизируя инфраструктуру данных для повышения производительности и контроля за расходами и обеспечивая устойчивость, доступность и безопасность данных.

На конференции NEXT 2019 компания Hitachi Vantara объявила о расширении комплекса решений и сервисов на платформе Lumada. Цель нововведений – помочь заказчикам преодолеть разрозненность массивов данных и стимулировать инновации, используя методологию DataOps. Новые функциональные возможности Lumada дополняют поддержку технологий Интернета вещей (IoT) средствами для решения задач управления данными и их анализа.

«Стремясь повысить эффективность деятельности и взаимодействия с клиентами, организации сегодня реализуют различные цифровые стратегии. В процессе они сталкиваются с тем, что традиционные подходы к управлению данными им не подходят, – считает Брэд Сурак (Brad Surak), директор по продуктам и стратегии развития Hitachi Vantara. – Им нужны автоматизированные процессы на основе политик, которые позволяют организовать адаптируемую и управляемую матрицу данных, снабжающую информацией все предприятие. Сегодня Hitachi объявляет о расширении комплекса решений Lumada в ответ на современные требования к совместному управлению данными в эпоху ИИ».

Новые решения Lumada открывают возможность интеллектуального оперирования данными благодаря использованию методологии DataOps. Это практика совместного управления данными, которая позволяет организациям повышать свою эффективность и внедрять инновации благодаря возможности получить все необходимые данные в нужное время в нужном месте.

Новые решения и сервисы Lumada

Lumada Data Services (сервисы данных Lumada) – набор программных сервисов, с помощью которых заказчики могут управлять все более сложными экосистемами данных на интеллектуальной информационной основе. Взаимодействие с проверенными технологиями Hitachi для организации объектных хранилищ, интеграции данных и аналитики, лежащими в основе платформ Hitachi Content Platform (HCP), Pentaho и Lumada, позволяет заказчикам с минимальными затратами осуществлять управление всеми наборами данных в ЦОД, в облаке и на границах инфраструктуры. Инструменты автоматизации на основе политик помогают координировать потоки данных, снижать затраты, поддерживать развитие бизнеса и выполнять требования регулирующих органов.

Решение Lumada Data Services способно ускорить инновации, предоставляя заказчикам возможность координировать прием, хранение, изучение, подготовку и предоставление управляемых данных на основе бизнес-политик для получения аналитики, управления и экономии эксплуатационных затрат.

Доступ к сервисам данных Lumada осуществляется через общую облачную консоль. Сервисы взаимодействуют друг с другом, используя общие метаданные, при поддержке интеллектуального координирования и механизмов применения политик. Сервисы данных можно развернуть в облаке, в ЦОД или на границе инфраструктуры; они позволяют создать гибкую матрицу данных и обеспечивают доступ к данным в режиме самообслуживания для реализации методологии DataOps в масштабе предприятия.

Lumada Data Lake (озеро данных Lumada) – инновационный продукт для реализации «умного» озера данных с возможностью его автоматической оптимизации. С помощью технологий искусственного интеллекта Lumada Data Lake выбирает оптимальное расположение наборов данных, постоянно контролирует их, не допуская образования «болот» данных, и обеспечивает их постоянную доступность для анализа.

Решение Lumada Data Lake обеспечивает доступное мультиоблачное хранение, мощные средства для операций с данными и простое управление. В отличие от озер данных на основе одного облака, дорогих при масштабировании и создающих привязку к одному производителю облачных систем, Lumada Data Lake является экономичным решением даже при масштабировании до петабайт. Оно позволяет получить логическое самоорганизующееся озеро данных, охватывающее компоненты инфраструктуры от границы до облачной среды. Решение Lumada Data Lake, созданное на базе новейших технологий хранения объектных данных и совместимое с Amazon S3, доступно из подсистем аналитики, которые могут располагаться где угодно.

Lumada Data Lake обеспечивает контролируемое, экономичное и автоматизированное управление данными. Оно состоит из набора контейнерных программных сервисов, с помощью которых организации могут решать задачи по управлению данными с датчиков, производственных активов и систем и их интеграции в системы бизнес-операций. 

Lumada Edge Intelligence (средства Lumada для аналитики на границах инфраструктуры) – новый комплекс программного обеспечения и сертифицированного граничного оборудования. С его помощью организации могут управлять данными и аналитикой на границах сети в таких сценариях использования цифровых технологий, как системы IoT, продукты с сетевыми возможностями, клиентские сервисы с эффектом присутствия, удаленные площадки и площадки без подключения к сети, филиалы организаций.

Решение Lumada Edge Intelligence сертифицировано для использования со многими типами оборудования Hitachi и партнеров, подключаемого к производственным активам, технике и системам, и обеспечивает реализацию методологии DataOps и получение аналитических данных в реальном времени на границах инфраструктуры. 

Правительственная рабочая группа по архитектуре государственных систем и режиму оборота данных одобрила проект Национальной системы управления данными, сообщает «Коммерсантъ». Структура управления НСУД должна быть определена в течение месяца: авторы концепции хотят сделать ее максимально децентрализованной. Обсуждение спорных вопросов отложили.

Концепция предполагает новый подход к госданным, а именно - единый порядок их сбора, обработки, хранения и использования, включая управление качеством и создание аналитических инструментов. Гражданам обещают рост качества госуслуг, упрощение сбора документов и контроль над госданными о себе, бизнесу — упрощение отчетности и доступ к части госданных. Самим же властям проект должен дать улучшение качества принимаемых решений и эффективности бюджетных расходов.

Во Всемирном банке считают, что программа потребует широкой поддержки разных групп, вопрос финансирования недостаточно прозрачен. Однако эксперты отмечают, что Россия — одна из первых стран, работающих в области национальных стратегий по обращению с госданными.

Участвовать в программе сейчас хотят Пенсионный фонд России, Росреестр и казначейство. В третьем квартале разработчики проекта составят требования к управлению информацией и выберут национального оператора.

Прошедшая в Москве конференция «Технологии управления данными 2018. Стратегии, платформы, инструменты и опыт реальных проектов», организованная издательством «Открытые системы», оказалась не только насыщенной и информативной, но и на удивление эмоциональной: около 200 участников встречи с нескрываемым интересом слушали выступавших и живо включались в обсуждения.

Как отметил Валерий Артемьев, консультант управления методологического и организационного обеспечения департамента статистики и управления данными Банка России, термин «управление данными» чаще всего трактуется в узком смысле — как управление базами данных и файлами. В широком смысле его следует интерпретировать как корпоративное управление данными (Data Governance), рассматривающее данные как активы организации. Такой взгляд предполагает необходимость учета данных, анализа их ценности для бизнеса, а также обеспечения качества и ясного понимания того, как именно данными можно управлять. В качестве ключевого информационного источника Артемьев рекомендовал Data Management Body of Knowledge — свод знаний, подготовленный глобальным сообществом экспертов по управлению данными DAMA International.

Не все спокойно в королевстве данных

Сегодняшнее состояние дел в области управления данными, похоже, едва ли можно считать блестящим. В частности, Артемьев отметил полтора десятка организационно-методических проблем и около десятка технологических. Наиболее критичные из организационно-методологических — слабо развитая культура принятия решений на основе данных, недостаточное понимание предметной области специалистами, занимающимися данными, отсутствие стратегии, архитектуры, методологии управления данных и плана реализации возможных мер в этой области, а также слабая вовлеченность бизнес-подразделений в эти процессы. Из технологических особо следует отметить неосведомленность специалистов о возможностях новых продуктов, нехватку знаний о технологиях, избыточное количество приобретаемых продуктов (и, как следствие, слабую востребованность, по крайней мере, части из них), большие объемы ручного труда и недостаточные компетенции работы с концептуальными моделями предметных областей. Нередко случается так, что данными занимаются те, кто смутно понимает, как работает бизнес, а бизнесом — те, кто слабо представляет себе, как работать с данными.

Вероятнее всего, одной из ключевых тенденций станет демократизация данных и аналитики. Подспорьем для бизнес-специалистов станут инструменты так называемой дополненной аналитики со встроенными в них средствами искусственного интеллекта. В частности, они смогут распознавать и интерпретировать запросы, сформулированные на естественном языке — как текстовые, так и голосовые. Также интеллектуальные системы возьмут на себя большую часть рутины, предваряющей продуктивную работу с данными.

В области интеграции данных нас, по-видимому, ожидает переход от озер данных к логическим хранилищам данных: корпоративную информацию совсем не обязательно хранить в одном большом архиве, данные могут оставаться в прежних местах хранения, однако важно, чтобы их поиск и анализ можно было бы производить так, как будто они собраны в одно большое хранилище. Кроме того, предприятиям следует осваивать гибридную обработку данных (Hybrid Transaction/Analytical Processing, HTAP), которая подразумевает, что оперативные и аналитические данные не разделяются по разным хранилищам.

Впрочем, как отметил Сергей Кузнецов, главный научный сотрудник ИСП РАН, профессор МГУ, МФТИ и НИУ ВШЭ, далеко не всякая здравая и полезная идея находит поддержку в ИТ-сообществе. Основными причинами этого он считает инерцию сообщества, подверженность конъюнктуре, а также маркетинговое давление вендоров. Иначе как объяснить, например, продолжающееся несколько десятилетий господство SQL и реляционных СУБД одновременно с так и не состоявшимся взлетом объектно-ориентированных и объектно-реляционных СУБД? Кузнецов убежден, что инерция мешает движению сообщества к новым технологиям, препятствуя как разработке новых систем, так и их применению.

Конъюнктура также сдерживает развитие, поскольку ограничивает кругозор и мешает правильному выбору технологий. Не следует использовать «модные» в данный момент технологии везде, где это только возможно, применять их нужно там, где они будут уместны и полезны.

С маркетинговым давлением вендоров связан еще один некомфортный момент: их маркетинговые материалы слабо помогают заказчикам справляться со стоящими перед ними задачами. В основном эти материалы ориентированы на активную продажу технологий, и, к сожалению, в информационных источниках ИТ-компаний порой бывает очень непросто найти то, что реально интересует ИТ-специалистов.

Помочь преодолеть этот барьер и навести мосты между поставщиками и заказчиками технологий как раз и призваны конференции, подобные нынешней.

Технологии развиваются, чтобы решать задачи

Проблема, которая стара, как ИТ-мир: в очень многих организациях данные хранятся разрозненно, во множестве различных хранилищ, архивов, репозиториев и папок. Позволить эффективно работать с такими данными призваны технологии логических витрин, о которых рассказал Сергей Горшков, директор компании «ТриниДата». Идея, которую он представил, заключается в том, чтобы не просто извлекать данные из множества источников, но пытаться описывать их в терминах концептуальной модели предметной области (проще говоря, на языке бизнеса), выстраивать их категоризацию, выявлять знания и закономерности, находить структурные элементы в неструктурированных данных и таким образом выстраивать эффективный поиск и анализ имеющейся информации. Как отметил Горшков, использование онтологий при построении витрин данных дает возможность строить поисковые запросы в привычных сотрудникам бизнес-терминах, получать точные результаты, как при обычном запросе к СУБД, и принимать более взвешенные решения.

Тему построения онтологий для описания концептуальных моделей предметной области продолжил Сергей Исаев, генеральный директор компании DataFabric. Для этих целей в компании предлагают применять семантические технологии — основываясь на них, система распознает смысл (точнее, контекст) данных, с которыми работает. При этом она оперирует не только с самими данными, но и со знаниями о предметной области, описанными посредством семантических сетей, представляющих собой графы знаний, собранные из множества триплетов среды описания ресурсов (RDF), имеющих вид «субъект — предикат — объект». Так, граф знаний ФНС состоит из примерно 6 млрд триплетов, включающих в том числе исторические взаимосвязи. Основываясь на семантических технологиях, можно производить сбор, преобразование, хранение и управление данными. Также значительно упрощается интеграция данных из различных источников и для разных потребителей. Семантические технологии открывают широкие возможности для поиска скрытых, неочевидных взаимосвязей между людьми, компаниями, различными объектами и действиями: можно, например, создавать системы, анализирующие большое количество данных из разных источников с целью выявления экономического и финансового мошенничества.

В Oracle пытаются облегчить жизнь заказчиков, активно развивая так называемые автономные сервисы СУБД: встроенные в них механизмы машинного обучения помогают автоматизировать многие рутинные операции по администрированию баз данных и обеспечению их информационной безопасности. Марк Ривкин, директор по технологическому консалтингу компании Oracle в странах СНГ, подробно остановился на различных направлениях автоматической адаптации работы СУБД к текущей нагрузке и ее оптимизации «на лету» с учетом имеющихся возможностей масштабирования, распараллеливания выполнения задач и управления сразу несколькими базами данных как единым целым.

Свой взгляд на развитие автономных баз данных изложили представители компании Postgres Professional: без разговора о СУБД Postgres не обходится сегодня ни одна встреча профессионалов в области управления данными.

Василий Флока, главный инженер TmaxSoft Rus, представил основные улучшения, внесенные в СУБД Tibero «по многочисленным просьбам» российских заказчиков.

Представители компании IBS и ее проекта Arenadata рассказали о возможностях универсальной платформы хранения и обработки данных Arenadata Unified Data Platform, разработанной на основе проектов с открытым кодом. Идея этой платформы в том, что ни одна из ныне существующих СУБД не способна одинаково эффективно решать весь круг задач по работе с данными, поэтому разумно использовать пакет интегрированных между собой систем, каждая из которых хорошо справляется с определенным кругом задач. В состав платформы включены три базовых СУБД: Arenadata Grid — созданная на базе Apache Ignite база данных с обработкой данных в оперативной памяти, рассчитанная для работы в режиме реального времени; Arenadata DB — основанная на Greenplum распределенная СУБД, использующая массивно-параллельные вычисления (MPP) для работы хранилищ данных и аналитических систем; Arenadata Hadoop — дистрибутив распределенной платформы хранения на базе Apache Hadoop, адаптированный для корпоративного использования. Также платформа включает продукты для потоковой обработки данных на базе Apache Kafka и Nifi, ETL-инструментарий, пользовательский интерфейс аналитика Analytic Workspace и другие компоненты.

Предназначенную для создания объектных хранилищ в корпоративных вычислительных средах и частных облаках платформу Cloud Object Platform представил Егор Литвинов, консультант-эксперт компании Hitachi Vantara. Она обеспечивает хранение с быстрым и удобным доступом к данным разных типов (в том числе изображениям, записям аудио и видео, а также резервным копиям данных) посредством популярных протоколов обмена: AWS S3 — как в облачных сервисах сетей предоставления контента (CDN), а также SMTP, Swift и др.

О важности платформ хранения для современного бизнеса напомнил Максим Зубарев, глава представительства компании Pure Storage в России, СНГ и станах Балтии. В эпоху цифровых преобразований предприятия предъявляют особые требования к производительности и надежности систем хранения как фундамента для работы с данными — их характеристики и особенности не должны становиться препятствием для внедрения и использования цифровых инновационных решений.

Олег Финошин, заместитель генерального директора компании Vizex, предложил достаточно простой, относительно недорогой и весьма эффективный способ использования аналитики для анализа деятельности организаций. Его суть в том, чтобы сконцентрироваться на измерении в отслеживаемых бизнес-процессах только самых важных показателей, от которых в конечном итоге зависит общий успех. «Не нужно замысловатых графиков. Контролируем время и качество», — пояснил Финошин. Например, в отдельно взятом бизнес-процессе или цепочке операций достаточно оценивать сроки исполнения, количество ошибок, время ожидания в очереди на исполнение, время, которое требуется на коммуникацию с другими бизнес-процессами и некоторые другие показатели — их замер организовать нетрудно. Обеспечив таким образом непрерывный мониторинг деятельности и визуализировав картину деятельности организации, становится несложно выявлять слабые места, погружаться в их детали и анализировать причины замедлений или снижения качества на отдельных участках.

Проверка практикой

И все же главный критерий оценки возможностей технологий — реальный опыт. Ольга Налгранян, специалист отдела автоматизации и анализа данных компании Mars, рассказала об организации в компании системы мониторинга и анализа различных систем и связанных с ней бизнес-процессов. Основываясь на данных из системных журналов, специалисты компании научились не только выявлять аномалии и предотвращать инциденты, но и сократили среднее время восстановления работоспособности систем (MTTR), уменьшили общую трудоемкость мониторинга и пр. В компании «Мегафон» удалось подробно изучить процессы приема платежей, и, изменив их, улучшить доступность платежных сервисов и, как результат, повысить удовлетворенность ими абонентов.

О поддержке проектов ученых, ведущихся в Европейском центре ядерных исследований (ЦЕРН), рассказал Владислав Патенко, инженер Google Cloud. В частности, Google оказывает помощь в реализации двух проектов — Rucio и PanDA. Первый из них обеспечивает управление данными, полученными в ходе экспериментов на Большом адронном коллайдере. Объемы данных при этом таковы, что на их передачу в центры обработки данных для их последующего хранения и обработки требуется около месяца. Кроме того, необходимо позаботиться о том, чтобы бронировать необходимый объем ресурсов. Проблема осложняется тем, что в ближайшие годы ЦЕРН планирует заменить прежние установки для сбора данных на новые, и тогда объем получаемых данных вырастет на порядок.

Другой проект, которому Google оказывает не только технологическую, но и финансовую поддержку, — PanDA — нацелен на управление потоками (workflow) задач, требующими вычислительных ресурсов. Одна их проблем состоит в том, что эти потоки задач сильно отличаются от workflow, который встречается в бизнесе, а потому требуется специально прорабатывать и продумывать реализацию этого управления. Вторая проблема связана с менталитетом ученых: европейские исследователи и университеты зачастую не хотят иметь дело с коммерческими организациями. К счастью, постепенно проблема преодолевается: ученые, сотрудничающие с ЦЕРНом, берут на вооружение предоставляемые Google средства автоматизации и облачные возможности.