В рамках тематической сессии «Стратегии & инструменты» конференции ««Качество данных — 2022. Стратегия, инструменты, практики, перспективы»» (см. также ««Качество данных — 2022». данные для бизнеса») рассматривались используемые инструменты, внедренные решения. Была отмечена важность связи бизнес-процессов и управления данными. Управление данными должно приводить к достижению бизнес-результатов на основе объединения бизнес-целей, а также оценки результатов и стоимости с учетом измеряемых воздействий и рисков. По словам Александра Трекина, старшего регионального директора по продажам Precisely в России и странах СНГ, измеряемые бизнес-результаты позволяют развивать и совершенствовать программы работы с данными. Заказчикам Precisely, применявшим ориентированные на бизнес подходы, удалось, по данным компании, ускорить развертывание таких программ до 40%, повысить рентабельность инвестиций до 7 раз, а вероятность реинвестирования — более чем на 75%. Эрик Хуберт, старший инженер по продажам компании Precisely, продемонстрировал возможности инструментария Precisely Data360, который разработчики предлагают как решение со многими важными для корпоративных пользователей интегрированными функциями. Оно позволяет оптимизировать цепочки поставок данных — от сбора и обнаружения информации до ее анализа и получения результатов.

При развертывании программ работы с данными приходится делать выбор между внедрением промышленных решений качества данных и собственными разработками, учитывая требования технических заданий, размер бюджетов, сроки и ожидания рынка. В компании Tele2 сформировали набор критериев для такого решения, включающий в том числе ролевую модель, настройку шаблонов проверок, контроль версий, историю изменений, возможность самостоятельной доработки и ряд других. «Оценив имеющиеся ресурсы, собственные разработки и сформулированные требования, мы решили приобрести промышленную систему», — пояснила Екатерина Моисеева, старший менеджер по качеству данных Tele2. Выбор инструментария Ataccama позволил компании в течение трех месяцев создать фундамент управления качеством данных, осуществить интеграцию с корпоративными информационными системами и обеспечить полноценное участие команды специалистов Tele2 в выполнении проекта.

В компании «УралХим», одном из крупнейших игроков рынка минеральных удобрений нашей страны, где внедряют платформу данных и глубокой аналитики и используют Informatica DQ, именно низкое качество данных и отсутствие культуры работы с ними называют одной из причин, способных «свести на нет» эффективность цифровизации. К основным принципам управления качеством данных в «УралХиме» относят: сквозную организацию управления в рамках операционных процессов всей компании; разработку и внедрение соглашений о качестве данных совместно с ответственными представителями владельцев данных; интеграцию с другими процессами управления ИТ-ландшафтом. Для контроля качества данных используют алгоритмы искусственного интеллекта, которые, в частности, применяют для дедублирования и сопоставления справочника номенклатуры с внешними справочниками контрагентов, ранжирования весов значимости метрик, проверки физически допустимых диапазонов значений данных устройств промавтоматизации.

«Архитекторы и пользователи корпоративной системы управления качеством данных должны в первую очередь думать о пользователях, а не только о точности данных», — полагает Алексей Еремихин, архитектор решений работы с данными компании Badoo (Bumble), подчеркивая, что качественные данные должны соответствовать ожиданиям их потребителей. Для этого у каждого бизнеса есть свои возможности: от изучения ожиданий и помощи пользователям до обучения, формирования ожиданий и работы над ошибками.

Система управления мастер-данными Объединенной двигателестроительной корпорации, работа над которой ведется более 10 лет, охватывает более 4 млн объектов, 12 площадок и обслуживает 31 систему, являющуюся потребителем нормативно-справочной информации. Рост объемов данных из различных источников усложняет процесс контроля качества как собственно данных, так и метаданных. Для огромных массивов исторических данных номенклатурных справочников производственных площадок используются инструменты автоматизированной обработки заявок на нормализацию нормативно-справочной информации, а также интеллектуальная система согласования изменений и дашборд оценки качества данных. После цикла машинного обучения внедрен модуль искусственного интеллекта для приема заявок и новых «исторических» массивов. В настоящее время завершена интеграция решения MDM с единым номенклатурным справочником госкорпорации «Ростех».

Системы на основе алгоритмов машинного обучения предъявляют специальные требования к качеству данных, отмечают в компании «Лента». Такие данные, наряду с соответствием общепринятым параметрам качества, должны обладать в том числе причинно-следственной связью с моделируемыми событиями, характеризоваться отсутствием нежелательных искусственных смещений, иметь достаточный объем для обучения. Для абстрагирования данных от конкретных сценариев их использования в интеллектуальных системах управления качеством данных и решениях больших данных, в «Ленте» используют концепцию FeatureStore, позволяющую сформировать уровень управления данными для машинного обучения. На базе архитектуры FeatureStore в течение трех месяцев разработано собственное решение, максимально отвечающее требованиям компании. Теперь, в частности, релиз новой модели занимает часы, а не недели, как это было раньше.

Для машинного обучения в области обработки естественного языка в компании «ЭГО Транслейтинг» разработали решение для нормализации текстовых корпусов, которое применяется для сбора текстовых данных, их анализа, обработки и очистки для обучения нейросетей, в том числе для тренировки систем машинного перевода.

В пивоваренной компании «Балтика» ориентируются на процессный подход к управлению данных. «Данные и процессы следует рассматривать в совокупности, поскольку это не только позволяет лучше определить источники и потребителей данных, но и во многих случаях дает возможность найти точки приложения усилий для решения возникающих проблем и предотвращения дальнейших инцидентов качества данных», — утверждает Варвара Макарьина, менеджер по развитию аналитических систем. Для повышения качества данных в «Балтике» используют проверку, доработку и изменение процесса. В этой компании, к примеру, встроили обработку инцидентов в схему управления качеством данных. По словам Макарьиной, практическую помощь в работе с данными оказали советы, методы и рекомендации, которые обсуждались в докладах тематических мероприятий издательства «Открытые системы».

Одна из секций конференции «Качество данных — 2022», проведенной издательством «Открытые системы», была посвящена анализу опыта управления качеством данных в организациях разных сфер деятельности (см. также ««Качество данных — 2022»: данные для бизнеса»).

Владимир Комолов из компании DM Basis ответил в своем выступлении, пожалуй, на главный бизнес-вопрос: зачем заниматься управлением качеством данных? DM Basis занимается разработкой и поддержкой программных продуктов для автомобильного рынка — от качества данных зависит приток покупателей. Качественные данные обеспечивают двукратный рост объемов продаж: в условиях рынка наличие полной и достоверной информации становится одним из основных рычагов для увеличения доходов. Особенность данных в этом сегменте — естественное устаревание из-за длительного бизнес-цикла. Обновление продуктовой линейки автомобилей требует от компаний значительного времени, при этом собранные ранее данные о клиентах теряют актуальность. Как показывает статистика, повышение качества данных в рамках программы Customer Experience способно поднять объем повторных продаж вдвое — с 10% до 23% для премиальных марок автомобилей, а для некоторых моделей — с 12% до 45%. Благодаря этому удержание действующего клиента обходится втрое дешевле, чем привлечение нового.

Сергей Горшков: «Нет абсолютно надежных инструментов проверки истинности данных, однако можно минимизировать вероятность появления случайных или намеренных ошибок»

Наиболее существенный признак качества данных — их достоверность, считает Сергей Горшков из компании «ТриниДата», которая предлагает платформу «АрхиГраф», позволяющую выстроить дата-центрическую архитектуру системы хранения данных и обеспечить цикл проверки истинности информации в корпоративных системах. Недостоверная информация может появляться по разным причинам — например, из-за случайных или преднамеренных ошибок менеджеров. Возможно также различное толкование данных разными клиентами: разночтение способно породить недостоверную трактовку результатов, поэтому при эксплуатации корпоративных систем надо гарантировать единство толкований. Встречаются и более сложные случаи — например, фактор модальности больших массивов данных, достоверность которых зависит от появления тех или иных событий, в случае возникновения которых необходимо запускать процесс перепроверки данных. Скажем, установка признака «недобросовестный контрагент» может выражать модальное субъективное суждение менеджера: «этот контрагент может стать недобросовестным и наверняка вовремя не погасит задолженность». В рамках традиционных информационных систем, опирающихся на реляционные базы данных и «зашитую в коде» модель данных, нет удовлетворительного решения обеспечения истинности данных. Системы, созданные на основе онтологических моделей данных и предназначенные для поддержки принятия решений в организации, которая работает в динамичной окружающей среде, потенциально могут решать подобные задачи. Для контроля достоверности данных, отметил Горшков, применяются системы управления основными данными (Master Data Management, MDM), помогающие унифицировать собранные во всех информационных системах данные и эффективно управлять ими. Сегодня также активно развиваются инструменты для извлечения неструктурированных данных, основанные на машинном чтении (natural-language understanding) и других технологиях искусственного интеллекта.

О внедрении в банке «Открытие» системы «Единого фронтального решения» (ЕФР) рассказали Иван Зипухо и Мария Филюшкина при участии Ники Сусловой из компании HFLabs. Проект, запущенный в 2018 году, предусматривал объединение четырех решений категории CDI (Customer Data Integration), собравшихся вместе при объединении банков «Открытие» и «Бинбанк». Разработчикам требовалось объединить 40 млн клиентских записей от банка «Открытие» и 55 млн записей от «Бинбанка». Сведение данных происходило с помощью ЕФР, разработкой которой занималась компания HFLabs. После клининга размер этого хранилища сократился до 35 млн клиентских записей. Выстраивание системы управления качеством данных для ЕФР стало одним из наиболее значимых решений при строительстве новой системы. Объединенному банку потребовалось выстроить новую схему сбора сведений о клиентах, которая способствовала как повышению качества данных, так и унификации процессов сопровождения данных и их синхронизации в базе. Сегодня в банке работает микросервисная платформа омниканальных сервисов, насчитывающая на текущий момент более 200 доменных микросервисов и более 100 отдельных баз данных. Благодаря выстроенной системе управления качеством данных на базе ЕФР, удалось вдвое увеличить скорость обучения новых сотрудников правилам поддержки банковских продуктов и втрое ускорить оформление клиентских сервисов. В то же время в несколько раз вырос штат дата-стюардов.

Ника Суслова: «Создание единой точки входа для обработки сведений о клиенте банка позволило изменить саму культуру работы с данными»

«Без учета качества данных невозможно создать эффективное производство», — уверен Ярослав Урбанский, представляющий фармацевтическую компанию «Р-Фарм», сумевшую за три месяца запустить в Москве завод по производству вакцины Sputnik V, что было бы невозможно без правильно выстроенных процессов управления качеством данных. Особенность бизнеса «Р-Фарм» — жесткие требования регуляторов рынка. Высокие стандарты проявляются в требованиях к качеству хранимых данных по различным процессам производства лекарственных средств, по их номенклатуре, ингредиентам, по срокам реализации продукции и объемам поставки. Как отметил Евгений Антропов, директор отделения управления мастер-данных компании IBS, задачей проекта было не просто согласование мастер-данных между различными заводами «Р-Фарм», предъявляющими разные требования к качеству данных, а поддержка связности информационных потоков в технологических процессах на разных площадках: от планирования выпуска, закупок сырья, производства — до продажи лекарств. Для повышения качества данных была проведена их структуризация, что позволило сформировать достоверные методики анализа продаж и финансовой отчетности. Был также создан многомерный классификатор.

Дина Татаркина из холдинга «Черкизово» отметила в своем выступлении, что заботу о качестве данных можно переложить на партнеров. В состав холдинга входит 9 птицеводческих хозяйств, 11 предприятий мясопереработки, 19 складских комплексов, 9 комбикормовых заводов, 16 свиноводческих хозяйств. В ведении компании насчитывается более 500 справочников. На первых порах сведения в систему вводили сами пользователи, что отрицательно сказывалось на качестве данных: дублирование, некорректные или устаревшие данные, отсутствие унификации в структуре и форматах. Выстраивание единой системы хранения данных началось с их централизации. Была создана система справочников с интерфейсом через портал Alfresco и интеграцией с «1С» и Opentext. Затем стала внедряться система мастер-данных с интеграцией во все учетные системы компании. Была осуществлена настройка модели управления мастер-данными через систему SAP MDG. Для источника мастер-данных был выбран интерфейс API сервиса «СПАРК» от группы «Интерфакс», обеспечивающего сбор и регулярную проверку качества накопленных данных. Для сверки используется более 300 открытых источников. Данные из «СПАРК» (более 90 тыс. записей) стали основой для наполнения мастер-системы «Черкизово», предоставляющей данные для более 1200 пользователей холдинга.

Евгений Антропов: «Проект согласования мастер-данных между различными фармацевтическими предприятиями позволил решать и бизнес-задачи благодаря поддержке связности информационных потоков»

О характерных особенностях работы с данными некоммерческих организаций рассказала Вера Адаева, представитель Агентства стратегических инициатив. В этом секторе нет традиционных показателей, используемых в бизнес-аналитике: выручки, среднего чека клиента и проч. Сбор исходных данных затруднен, в том числе и по этическим соображениям — имеются сложности со сбором отчетов от партнеров. В то же время НКО — это крупные организации, и задача снижения издержек для них актуальна, как и для коммерческих компаний. Для дальнейшего роста им необходим системный сбор данных и обеспечение их качества. Особенность НКО — широкий диапазон источников данных, среди которых значительный объем персональных, требующих строгой защиты. В таких условиях важно правильно выстроить метрики для бизнес-анализа, считает Адаева, что помогает определиться с набором собираемых данных, обеспечить прозрачность целей при управлении региональной сетью.

Доклад Михаила Петрова из Счетной палаты РФ был посвящен особенностям работы с данными в системах госуправления. Главная отличительная черта — масштаб данных и разнородный доступ к ним. Например, в 2021 году в информационной системе Счетной палаты насчитывалось 645 наборов данных. Из них доступ к 24 наборам осуществляется через API, к 361 — через ссылку на открытый источник, и только 13 наборов данных предоставляют свой интерфейс к информационной системе. При этом до сих пор используется передача на физических носителях. Такая неоднородность порождает разнообразие форматов: Excel, CSV, XML, JSON, а также «немашиночитаемые» форматы. В Счетной палате выстроена трехуровневая система обучения, а любой сотрудник, получающий доступ к работе с данными, обязан иметь хотя бы первый уровень. Высший уровень компетенции требуется для 5–10% сотрудников группы поддержки. Для обеспечения качества данных необходим не просто обученный персонал, а сотрудники, готовые самостоятельно выявлять проблемы с данными, формулировать гипотезы и находить правильные решения.

Евгений Линник из Российского футбольного союза рассказал о проекте управления данными в общественных организациях. Цифровая платформа РФС призвана обеспечить работу экосистемы российского футбола и ее переход на электронную форму взаимодействия между субъектами. Разработка такой экосистемы ведется в рамках проекта «Стратегия 2030» по развитию футбола в России. Платформа создается на базе реляционного хранилища на MySQL и Hadoop под управлением Spark для работы с неструктурированными данными. Остальная часть инфраструктуры, отвечающая за систему запросов и подготовку отчетов, формируется на Python. Платформа объединит сведения об игроках, тренерах, судьях, инспекторах, всех спортивных специалистах, возьмет на себя подсчет всех существующих в стране спортивных объектов, обеспечит взаимодействие с партнерами РФС. Цифровая платформа позволит футбольным школам и клубам по всей стране организовать свой тренировочный процесс. Главная проблема обеспечения качества данных — неполнота их источников, отметил Линник. Сбор референсных данных требует серьезной организационной работы. На текущий момент сформирована база данных по профессиональным игрокам, начинается формирование базы по любительскому футболу.

В работе форума «Управление данными — 2021», проведенного в сентябре издательством «Открытые системы», приняла участие компания Ataccama, разработчик ПО и комплексных решений управления корпоративными данными, которые формируют фундамент принятия эффективных управленческих решений. В компании предлагают унифицированную платформу Ataccama ONE для автоматизированного контроля качества данных, управления мастер-данными и руководства данными (Data Governance).

Компания, созданная в Чехии в 2007 году, в настоящее время имеет представительства в ряде стран, включая Канаду, США, Великобританию, Германию, Россию. Алексей Ильин, генеральный директор российского офиса Ataccama, рассказал о стратегии и технологиях компании, о ее работе в нашей стране.

- Каковы предпосылки появления компании Ataccama?

Ataccama начинала как вендор, специализирующийся на решении задачи качества данных, первоначально — клиентских данных. Наша головная компания Adastra предоставляет консалтинговые услуги и внедряет ИТ-решения на рынке Центральной Европы — в Чехии, Словакии, Германии. Здесь всех вполне устраивали традиционные системы и решения для бизнес-аналитики, включая BI, хранилища данных и другие. Но когда дело доходило до качества данных, было очень трудно использовать продукты ведущих международных производителей, которые первоначально разрабатывались для англоязычных данных. В Чехии и Словакии ничего не получалось, не хватало гибкости для их внедрения. Начались собственные разработки, и в 2007-м появилась Ataccama.

- Ataccama — небольшая по меркам глобального ИТ-рынка компания, которая, по мнению аналитиков, добилась значительных успехов в сегментах Data Quality, Master Data Management, Data Governance и конкурирует здесь с IBM, Informatica, Oracle, SAS. Как вам удалось достичь таких результатов?

Прежде всего — за счет технологий. «Монстры» вышли на рынок управления данных лет шесть-семь назад, в основном купив компании-стартапы. Чтобы соперничать с организациями с огромными маркетинговыми бюджетами и очень сильными продавцами, надо быть на голову выше технологически.

- В чем же основные отличия ваших подходов?

В первую очередь — в гибкости, в возможности адаптировать наши решения к самым различным ИТ-ландшафтам. Затем — в ориентации на горизонтальную масштабируемость и использование продуктов Ataccama в любых гибридных средах. Очень хороший пример — проект в «Яндекс.Маркете», представленный на этом форуме. Там мы смогли развернуться в облачной среде, которая существенно отличается от популярных облаков Amazon и Microsoft, сделали это с минимальными доработками на своей стороне, предоставили разработчикам «Яндекса» консультанта, поделились с ними «кусочками» исходных кодов. В основном они сами занимались адаптацией решения и интеграцией.

Крупные вендоры продают лицензии, проводят определенное обучение, а дальше — или сами, или с системным интегратором. Мы же вместе с лицензией всегда стараемся предоставить «играющего тренера». Это наиболее удобная для заказчиков модель, которая помогает повысить компетенции их специалистов, работающих в совместной команде. Систему управления качеством данных невозможно внедрять только силами «со стороны», ее нужно непрерывно поддерживать и развивать, привлекая собственных сотрудников. Ataccama всегда формирует такую команду и сначала развертывает небольшой тестовый проект. У нас много специалистов из различных отраслей с опытом успешных внедрений.

- Когда в компании перешли к облакам и насколько востребованы облачные версии платформы Ataccama ONE?

Я бы отметил два этапа облачного развития продуктов Ataccama. Сначала появилась их модификации для развертывания в публичных облаках Amazon и Microsoft. Тогда выполнялись проекты для тех заказчиков, которые использовали такие публичные облака. По сути дела, не было большой разницы между облачными решениями и инсталляциями on-premise на площадках заказчиков.

На втором этапе стали модернизировать «движок», чтобы адаптировать его к облачным платформам. Использовали контейнеры и такие инструменты, как Kubernetes, для управления контейнерными рабочими нагрузками и сервисами.

Текущая версия Ataccama ONE позволяет одинаково эффективно использовать платформу как в облаке, так и on-premise. В настоящее время на Западе в основном идут облачные продажи, там этого требует рынок, здесь — по-прежнему on-premise. Переход к облакам — вопрос времени и готовности рынка воспринимать облачные технологии.

В Москве есть центр компетенции компании, который работает над европейскими проектами. Здесь облачные реализации начались в 2017–2018 годах, в первую очередь для управления мастер-данными.

- Что наиболее важно в новейшей генерации Ataccama ONE?

На наш взгляд, в Ataccama ONE Gen2 полностью переосмыслена работа всех инструментов с точки зрения пользовательского опыта — удобства и массовости применения. Еще два-три года назад средства работы с корпоративными данными рассматривались как инструментарий ИТ-разработчиков. Однако, чтобы сделать проекты управления данными успешными, нужно со всеми этими сложными вещами дойти до бизнеса. Нужны инструменты, которыми могут пользоваться множество людей для поиска требующихся данных. Необходимо, чтобы качество данных стало прозрачным для всех.

Одна из главных идей такого реинжиниринга — объединить каталог данных с инструментом качества данных, создать своеобразную «википедию» с системой поиска, которая могла бы подсказать, где находятся нужные данные и какие проверки их качества существуют, а также предоставить возможность добавлять пользовательские проверки. Теперь, к примеру, если в компанию приходит новый аналитик, ему не нужно искать давно работающего в ней человека, который все знает про данные: где, что и как.

Выпуск Gen2 состоялся в марте. До этого новую платформу предоставили десятку опытных пользователей-первопроходцев в различных странах мира, генерирующих собственные идеи, учли их отзывы и предложения. Уже есть заказчики, использующие Gen2 в промышленном контуре. В нашей стране видим огромный интерес и первые успешные пилотные проекты.

- В начале года Ataccama приобрела стартап Tellstory. Что дает интеграция новой технологии в вашу платформу?

Это небольшая словацкая компания, где появилась идея создать социальную сеть для обсуждения данных. Такая функциональность встраивается в наш каталог данных. Если, к примеру, будут замечены какие-либо аномалии в данных, то появляется возможность совместно их анализировать, дискутировать о том, что в них необычного. В продукте Tellstory есть также инструменты визуализации данных. Мы их дополним и упростим конечным пользователям навигацию по каталогу Ataccama, создание отчетов. Такие инструменты помогут в проектах обеспечения качества данных. Новые релизы нашего ПО выходят каждые шесть-восемь недель. Tellstory, как ожидается, появится к концу года. С нетерпением ждем этого.

- Вы отметили интерес в России к обновленной платформе Ataccama ONE. Как вы оцениваете положение Ataccama в нашей стране и состояние российского рынка управления данными?

Ataccama в России — с 2012 года, где первоначально сотрудничала с международными банками, с которыми уже работала в других странах. Сейчас у нас здесь около 40 консультантов-внедренцев. Кажется, что это не очень много, но в России ни в одной компании нет такого числа специалистов в области практики Data Governance. Специфика российского рынка управления данными такова, что наши клиенты - это крупные организации: ведущие банки, розничные сети, телеком-операторы. У небольших компаний подобные решения пока не в фокусе. С самого начала Ataccama успешно решала в России задачи управления качеством клиентских данных, а у известных вендоров это отнюдь не всегда получалось. Сейчас в данной области у нас нет международных конкурентов, но есть локальные. Однако они, как правило, фокусируются только на узкой области клиентских данных, мы же предлагаем решения качества для произвольных данных

Что касается рынка в целом, то он активно развивается. Принимать управленченские решения только на основе опыта и интуиции становится все сложнее. Нужно ориентироваться на данные. Пандемия разрушила многие привычные коммуникации между людьми, для работы им требуется все больше данных. Характерно, что в течение последнего года увеличение зарплат специалистов по управлению данными существенно превысило среднерыночные показатели.

Кроме того, заметен рост культуры работы с данными. К финансовым организациям, телекому и ретейлу теперь присоединяются производственные компании. С промышленными предприятиями еще недавно было бессмысленно говорить о качестве данных, а сейчас они заинтересованы в цифровой трансформации и управлении на основе данных. Например, недавно нашим клиентом стала крупная металлургическая компания, где заинтересованы во внедрении каталога данных и решения по управлению качеством данных.

- Что можно сказать о дальнейших планах Ataccama в нашей стране?

Будем сохранять и наращивать темпы органического роста, которые с самого начала составляют здесь от 30 до 60% в год. Наш потенциальный рынок в России — сотня крупных компаний.

Видим хорошие возможности в сегменте управления данными о товарах, готовой продукции, материалах, где наметился существенный разрыв между доступными отечественными продуктами с ограниченной, к сожалению, функциональностью и безумно дорогими предложениями грандов. Планируем вывести на российский рынок решения нашего партнера — немецкой компании Viamedici, специализирующейся на ПО управления продуктами и маркетингом продуктов, применение которого способно изменить сложившуюся ситуацию.

Для нас очень важно развивать партнерские связи. Мы работаем с такими компаниями, как IBS, T1 (ранее «Техносерв») и рядом других, и рассчитываем на сотрудничество с новыми организациями. На форуме «Управление данными — 2021» было несколько встреч, очень перспективных в этом направлении.

Компания Syncsort в середине мая объявила о глобальном ребрендинге и переименовании — она будет позиционировать себя как мирового лидера в области обеспечения целостности и точности данных, работая под брендом Precisely.

Нынешний ребрендинг стал отражением перемен, произошедших в основанной в 1968 году компании за последние полгода, в результате которых она увеличилась примерно в два раза: ее годовой доход теперь превышает 600 млн долл., штат сотрудников достиг уровня 2 тыс. человек, а круг клиентов расширился до 12 тыс. организаций в более чем 100 странах, включая 90 крупнейших компаний мира из списка Fortune 100. Свою миссию Precisely (дословно название компании переводится как «Точно») видит в том, чтобы предоставлять компаниям точные и целостные данные для принятия лучших бизнес-решений, которые позволят достичь наилучших результатов.

«Более качественные данные означают более эффективные решения, и Precisely предлагает наиболее полный в отрасли портфель продуктов для обеспечения целостности данных, обеспечивая надежную связь между источниками данных и аналитикой, которая помогает компаниям извлечь выгоду из своих данных и инвестиций», — отметил Джош Роджерс (Josh Rogers), генеральный директор компании Precisely.

Сделка, которая вывела компанию на новый уровень

«…Я всегда обращал внимание на роль данных в совершенствовании процессов принятия бизнес-решений. Я видел позитивные изменения, которые данные обеспечили бизнесу, но также был осведомлен и о недостатках, — заявил Джош Роджерс в своем блоге, комментируя ребрендинг. — В августе прошлого года мы сделали гигантский шаг к решению этих проблем, подписав соглашение о намерении приобрести у компании Pitney Bowes ее бизнес, связанный с программным обеспечением и данными. Объединенная компания стала обладательницей широкого круга технологий и обрела масштаб для решения самых сложных проблем с данными — и нам понадобились имя и бренд, достойные наших дел».

Компания вышла на новый уровень и, воспользовавшись рекомендациями аналитиков IDC, приняла решение о переименовании

В результате приобретения активов Pitney Bowes компания Syncsort более чем в два раза увеличила свой портфель продуктов, дополнив свои решения для интеграции и оптимизации данных технологиями анализа местонахождения, обогащения данных, управления информацией о клиентах и взаимодействия с ними.

Предыдущая крупная сделка Syncsort состоялась в 2016 году, когда она приобрела компанию Trillium, дополнив свой портфель решениями для обеспечения качества данных и выполнения регуляторных требований к ним.

Исходя из данных IDC за 2018 год, покупка активов Pitney Bowes вывела Syncsort на уровень второго по величине глобального поставщика решений в области качества данных. Syncsort не только нарастила портфель продуктов, но и удвоила многие другие важные показатели: годовой доход, количество партнеров, клиентов и пр.

Как рассказал Александр Трекин, старший региональный директор компании Precisely, компания вышла на новый уровень и, воспользовавшись рекомендациями аналитиков IDC, приняла решение о переименовании.

«Название Precisely точно описывает то, что мы делаем: наши программные продукты обеспечивают клиентам доверие к своим данным и обогащают данные информацией о контексте, — пояснил Джош Роджерс. — Другие компании не концентрируются на целостности данных, они не могут помочь в таких ключевых областях, как качество данных, информация о местоположении и обогащение дополнительной информацией, и это отличает нас от всех остальных. Бренд Precisely характеризует нашу культуру, качество нашей продукции и результаты, которые мы можем дать нашим клиентам».

Объединенный портфель Precisely

«По данным Forbes, 84% руководителей компаний обеспокоены целостностью данных, на которых они основывают решения… Компании, добивающиеся целостности данных, будут успешно наращивать возможности завтрашнего дня, поскольку более качественные данные означают более эффективные решения. — отметил Джош Роджерс. — Точные, непротиворечивые, обогащенные данные — это ключ к раскрытию потенциала принятия решений на основе достижений последнего десятилетия в области хранения, вычислений, аналитики и машинного обучения. Это также важно и для успешного управления данными».

В своем обновленном портфеле продуктов Precisely выделяет следующие основные направления.

• Интеграция данных и обеспечение доступа к ним.
• Проверка данных и обеспечение их точности, целостности и полноты для принятия правильных бизнес-решений;
• Анализ данных, касающихся местонахождения людей и объектов, позволяющий получать новые ценные для бизнеса выводы;
• Обогащение используемой для бизнес-решений информации путем сопоставления и анализа актуальных бизнес-данных с данными о клиентах и их местонахождении;
• Создание удобных и полезных возможностей для омниканального взаимодействия с клиентами посредством персонализированного видео, чатботов, цифровых, мобильных каналов и систем самообслуживания.

«Наш подход обеспечивает доверие к данным, который поможет компаниям преодолеть рамки их нынешней эффективности, — прокомментировал Джош Роджерс. — Наши продукты охватывают широкий спектр лидирующих технологий для обеспечения целостности данных, их интеграции данных, обеспечения их качества, анализа местонахождения и решений для обогащения данных, которые обеспечивают точность, целостность и знания о контексте, необходимые для принятия надежных бизнес-решений».

Качество данных становится ключевым фактором, определяющим, насколько успешными окажутся усилия предприятия по монетизации своих информационных активов, уверены участники Саммита по современному управлению данными, организованного компанией Syncsort — поставщиком решений, позволяющих обеспечить доступность больших данных для самых актуальных видов аналитической обработки. Выступившая на саммите доктор Тендю Йогуртчу, технический директор Syncsort,  отметила, что для достижения  высокого качества  данных  предприятиям нужно очень тщательно продумывать инфраструктуру данных и последовательно выстраивать процессы управления ими. Это поможет избежать множества проблем, которые, как известно, стремительно нарастают по мере увеличения объемов, потоков, скорости обработки, разнообразия форматов и источников данных.

- Сегодня в России многие инициативы в области управления данными сконцентрированы на их монетизации и получении выгоды для бизнеса. Как добиться успеха в этом направлении?

Все зависит от конкретной задачи и поставленных целей.  Необходимо  правильно определить источники данных и оценить, какие технологии понадобятся для обработки полученной информации. Ключевой фактор успеха — заблаговременный выбор подходящих метрик. Очень часто  компании задумываются  о качестве данных уже после завершения проектов,  но,  чтобы внести  необходимые изменения  на этой  стадии,  требуются серьезные затраты. Поэтому важно заранее определить, как будет осуществляться управление данными, где и как будут создаваться и обрабатываться данные, которым можно доверять, и затем выбрать технологии, способные обеспечить нужную гибкость и переход на перспективные платформы.

- Российские заказчики продолжают спорить, надо ли сохранять все данные или только те, ценность которых для бизнеса понятна уже сегодня. Каковы ваши рекомендации?

Считаю, что необходим компромисс. Всегда пригодятся прежние, «исторические» данные — например, для обучения создаваемых моделей и прогнозирования. Полноценный анализ данных реального времени с извлечением из них пользы тоже предполагает наличие больших объемов ранее накопленной информации. Поэтому следует искать возможности для снижения стоимости хранения как «исторических» данных, так и тех сведений, которые  необходимо хранить по требованиям  регуляторов. Сегодня можно организовать «холодное» хранение в облаке, переместив туда редко используемые данные, или задействовать различные инфраструктурные ресурсы.

- Менеджеры всегда хотят иметь достоверную актуальную информацию. Как обеспечить  и измерить ( что тоже очень  важно ) точность корпоративных данных?

Качество данных имеет первостепенное значение, и его обеспечение становится серьезной проблемой, поскольку источников данных сейчас гораздо больше, чем когда-либо. По мере того как предприятия все чаще используют для хранения новые решения, например блокчейн и облака, в ходе репликации неточные данные продвигаются все дальше и дальше, и зачастую  становится  трудно определить, на каком этапе они стали некорректными. В частности, блокчейн позволяет хранить информацию, которая никогда не может быть потеряна, изменена или удалена, но эта технология не способна выявлять поступающие на вход «плохие» данные. Поэтому крайне необходим контроль качества данных, поступающих в блокчейн.

Серьезным шагом к измерению качества данных станет возможность профилировать все ваши  данные. Это  позволит сразу же выявлять отклонения,  определять  процентное соотношение  несущественной информации  и  выполнять многие другие действия.  Кроме того, профилирование поможет определять бизнес-правила и оценивать, какая часть данных им соответствует.

Чтобы создать среду, способствующую получению точных данных, предприятиям следует сконцентрироваться на бизнес-проблемах, которые они пытаются решить. Конечно, многое зависит от применения правильных инструментов, но не менее важно, чтобы сотрудники, работающие с данными, понимали их суть и имели в своем распоряжении средства, которые позволяют  обнаруживать  любые отклонения от установленных регуляторами норм,  а также выявлять  персональные  данные и  данные платежных карт (PCI), не дожидаясь их перемещения на следующие этапы обработки и хранения.

Едва ли сотрудники смогут вручную отслеживать и оценивать  всю поступающую информацию  — у них попросту нет для этого времени. Зато компьютерная программа сможет быстро сканировать огромные объемы данных. Но алгоритмы машинного обучения окажутся неэффективными, если ими не будут пользоваться те специалисты, которые хорошо  разбираются в бизнес-проблемах  и  процессах  и знают, какие данные требуются и какие доступны для решения этих проблем. Алгоритмы ML могут генерировать оповещения в двух ситуациях: если возникает проблема, связанная с качеством данных,  и  если имеющиеся модели не могут прийти к какому-либо заключению. В последнем случае модели нужно переобучить или доработать. Следовательно, приоритетом ИТ-руководителя должно стать формирование компании, в которой грамотно работают с данными.

- Какие способы оптимизации инфраструктуры данных вы считаете наиболее эффективными?

Принцип номер один: принимая решение о хранении данных на платформе конкретного поставщика, вы должны продумать, как избежать его блокировки. Сегодня на рынке предлагаются как традиционные платформы (Teradata, Netezza, Oracle и пр.), так и облачные. Более того, организации могут хранить в облаке все свои данные, достаточно лишь выбрать инструменты, которые позволят управлять размещением  информации  и доступом к  ней  на нескольких облачных платформах. Некоторые крупные европейские банки используют сервисы трех облачных поставщиков. Если есть возможность задействовать  нескольких  провайдеров, надо ею воспользоваться, хотя это не всегда удается. В любом случае в составе инфраструктуры нужно иметь платформы для работы с критически важными данными. Крайне важно, чтобы эти платформы справлялись с сезонными и другими колебаниями транзакционной нагрузки.

- Многие клиенты пытаются обрабатывать и анализировать потоки данных. Нужно ли им кардинально менять свою ИТ-инфраструктуру? И есть ли способы обновления ИТ-инфраструктуры без «глобальных» изменений?

На этот вопрос нет однозначного ответа, поскольку надо понимать, что собой представляет ИТ-инфраструктура организации и какие бизнес-цели  стоят  перед сотрудниками. Так, предприятия, желающие создать озеро данных, чтобы объединить несколько разрозненных активов данных в масштабируемом репозитории для их  последующего  анализа, обычно настаивают на «глобальных» изменениях в инфраструктуре, но иногда можно выполнить «легкое»  обновление —  например, оптимизировав существующую облачную инфраструктуру. Кроме того, многие  организации  стремятся создавать потоковые каналы и обеспечивать обмен данными приложений внутри собственной сети, чтобы анализировать их в режиме реального времени.  Наша компания помогает  своим клиентам найти правильное решение для получения большей выгоды от имеющихся у них данных с опорой на уже сделанные  инвестиции. Мы  выстраиваем наши продукты семейства Syncsort Connect так, чтобы упростить интеграцию новых технологий в уже существующую ИТ-инфраструктуру, предоставляя возможности для создания потоковых каналов и более полного использования потенциала корпоративных данных.

- Количество источников данных, похоже, будет расти, и в ходе их интеграции наверняка возникнет проблема увеличения вариативности данных и, как следствие, усложнения систем. Что можно  сделать  с  этим? 

Мы уже видим, как предприятия буквально тонут в данных, поскольку число их источников за последние годы резко выросло, к тому же появились потоки и озера данных. Некоторые организации взяли стратегический курс на облака как приоритетные вычислительные среды, а другие твердо намерены хранить конфиденциальные данные внутри компании. Есть те, кто выбирает стратегию гибридного облака или использует облачные среды для архивных данных, чтобы предоставить их по первому требованию регуляторов.

Лучший способ подготовиться к росту числа  источников —  сосредоточиться на обеспечении качества данных до их отправки в облако, блокчейн и другие ресурсы для размещения, а также  убедиться в том,  что имеющиеся у вас системы очистки, обогащения и преобразования данных способны в достаточной степени масштабироваться.

- Какие проблемы станут наиболее важными с точки зрения управления данными в обозримом будущем?

Как уже  было сказано,  все большее значение придается качеству  данных. Необходимо гарантировать достаточно высокое качество  и  всей той информации,  что хранится на множестве унаследованных платформ, размещается на новых и используется для анализа в реальном  времени.  Кроме того, нужно обратить внимание на выполнение требований в отношении корпоративного управления  данными  и на  работу с метаданными, а также исключить  дублирование  информации. 

Еще одна проблема состоит в том, что ИТ-руководителям приходится решать сложнейшую задачу:  они должны  создать корпоративную инфраструктуру, которая, с одной стороны, способна противостоять серьезным угрозам, обеспечивая сохранность и безопасность критически важной информации, а с  другой —  демонстрировать высокую доступность данных и предоставлять широкие возможности для бизнес-аналитики. Многие организации инвестируют немалые средства в защиту от вирусов и вредоносных программ, управление обновлениями и исправлениями, обнаружение и предотвращение вторжений, а также в обучение сотрудников. Большое влияние на проекты в области управления данными окажут Общий регламент по защите персональных данных (GDPR), принятый ЕС в прошлом году, и Калифорнийский закон о конфиденциальности данных потребителей (CCPA), вступающий в силу в январе 2020 года. В связи с этим еще  большее  значение приобретают инструменты, способные сканировать данные с целью выявления в них конфиденциальной информации.

«Грязные» данные грозят похоронить любой проект, основанный на аналитике. Но в подавляющем большинстве проектов управлению качеством данных сегодня уделяется катастрофически мало внимания. На конференции «Качество данных 2020», которую издательство «Открытые системы» проведет 5 февраля, недостаток знаний в этой области восполнит, в частности, Алексей Незнанов, доцент департамента анализа данных и искусственного интеллекта НИУ ВШЭ.

- Что такое качество данных?

Это комплексная характеристика, которую присваивают наборам и источникам данных, чтобы более-менее адекватно их сравнивать и использовать для конкретных целей. Это область серьезных исследований, где наработан глоссарий, тезаурусы и, главное, для типичных применений в бизнесе есть готовые метрики и популярные инструменты. Качество всегда контекстно зависимо и целезависимо. Характеристики качества для наборов данных и источников, откуда можно черпать новые данные, сильно разнятся.

- Какие существуют градации качества?

Существует только градация отдельных показателей, так как различные показатели могут быть противоречивыми. В большинстве моделей качества данных основными аспектами являются полнота, непротиворечивость (целостность) и актуальность. В каждом аспекте выделяют до 20 параметров. Например, для полноты примером параметра является объем данных, для актуальности — дата последнего обновления, для непротиворечивости — процент доказанных ошибок оператора.

- При каких условиях возможна очистка данных?

Условия зависят от уровня агрегирования и этапа анализа. На уровне первичных данных достаточно нормальных систем ввода (с проверкой и контролем ошибок) и аудита первичного ввода. Но аудит желателен двухэтапный — сначала выборочная проверка отдельных записей, а потом «аудит аудита».

Дальше начинаются проблемы. Нужен доступ ко всем элементам данных, значит, возникает вопрос о правах доступа к персональным данным, ноу-хау и другим «секретам». Особенно печальна ситуация с персональными данными, потому что повсеместное применение защищенных хранилищ персональных данных, к которым несколько организаций имеют доступ и возможность автоматически восстанавливать привязку данных, в России пока остается только мечтой.

На следующем уровне проблема связана с правильностью вычисления агрегирующих функций — среднего, медианы, экстремумов, перцентилей, квантилей. В ходе каждой из попыток что-то вычислить нужно контролировать, что происходит с характеристиками качества, особенно с точки зрения учета выбросов. Отсюда растущая популярность робастной статистики, методы которой менее чувствительны к выбросам и ошибкам. И это при том, что мы еще не касаемся временных рядов, цензурирования данных и т.п.

Наконец, при гармонизации нескольких наборов данных возможность очистка зависит от наличия и качества справочников, достаточности метаданных, качества схем.

- Каковы основные методы повышения качества данных?

Самый главный способ повышения качества — постоянный контроль за данными. Нужно, чтобы отслеживание мельчайших характеристик качества данных происходило через маленькие промежутки времени между проверками. Но это сложно и дорого, поэтому обычно чем-то пренебрегают и начинают по отдельности оценивать достаточность, непротиворечивость и корректность, причем только в ключевых точках. При этом обычно предпочитают аудит данных и выборочные проверки.

В юридических документах, особенно в судебных решениях, где цена ошибки очень высока, приходится проводить специальный аудит и кросс-проверку по результатам. Некоторые компании следят за качеством своих юридических документов, пытаются связывать их с мастер-данными и оценивать качество этих связей. А другие просто их накапливают, и непонятно, насколько они корректны.

Сотрудникам нужна мотивация для того чтобы обеспечивать повышение качества данных. У нас же во многих областях мотивация со знаком минус: выгодно делать данные плохого качества. Например, в медицинских записях о манипуляциях с пациентами около 30% ошибок — это ошибки намеренные, поэтому качество большинства наших клинических данных, по мнению экспертного сообщества, никуда не годится.

- Можно ли сказать, что какой-то из методов эффективнее других?

Нет. Иногда нужен контроль ввода, иногда многоступенчатый аудит, поскольку аудиторы первого уровня сами готовы внести неправильные данные. В некоторых случаях очень хорошо работают методы автоматического аудита, потому что есть метаданные, онтологии, глоссарии. А иногда ничего этого нет. Поэтому надо обязательно смотреть сначала на то, какова цель, а потом на контекст.

Люди, принимающие решения о разработке аналитической системы, должны сформулировать требования к качеству данных. Затем качество реальных данных проверяют на соответствие корпоративной политике качества данных и определяют, что необходимо сделать, чтобы достичь удовлетворительного качества.

- А насколько в российских компаниях распространена политика качества данных?

Обычно такая политика, а также управление качеством данных появляются сразу после того, как проваливается первый проект по внедрению сквозной аналитики. Поняв, что аналитика не работает из-за плохих данных, начинают в авральном порядке работать с их качеством. Через пару лет в хороших организациях организуются соответствующие службы и начинают управлять качеством — в первую очередь мастер-данных. Ну а в плохих организациях добиваются решения частной задачи и снова «проваливаются» с качеством в целом.

- На какие «грабли» в этой области наступают регулярно?

Список «граблей» начинается с нежелания изучать первоисточники. В ГОСТах (начиная с ГОСТ 56214 и 56215) есть вменяемая терминология и вполне рабочая методология, и именно ее применяют основные поставщики решений для работы с качеством данных. Разное понимание терминов, используемых в работе с данными, приводит к тому, что на верхнем уровне принятия решений начинается сумбур.

Следующая стандартная ошибка — несоответствие уровня качества данных конкретным задачам. Очень часто либо задают слишком высокий уровень и не достигают его, либо, наоборот, устанавливают чересчур низкий уровень, и тогда не работают системы аналитики.

Яркий пример — сочетание друг с другом наборов данных с разными характеристиками качества, так что после гармонизации вообще невозможно ничего сказать о качестве полученного набора данных. Причем в этот момент ему очень часто присваивают характеристики качества наобум. Чтобы оценить изменение качества при слиянии данных и выстраивании иерархических связей, следует использовать специальные методы и привлекать экспертов.

- Эксперт по качеству данных — кто это?

Есть три вида экспертов. Первый — специалисты по статистике, второй — эксперты в конкретной предметной области, работающие с данными в этой области. И третий — специалисты по методологии анализа и обработки данных, таких экспертов приходится привлекать, если нужна проверка своих действий, либо если штатный специалист не справляется со сложными проблемами. Для крупной организации грех не иметь своего специалиста по настройке системы управления качеством данных.

Адекватный директор по данным в первую очередь добьется принятия политик: сначала по управлению данными, а потом по управлению качеством данных — как ее части.

- На что следует опираться при разработке политики управления качеством данных?

На цели бизнеса, текущие задачи и контекст существования организации. В основе методологии лежат стандарты, где указано, как вычисляют характеристики, какие есть метрики. Но этого мало, необходимо определиться, зачем сейчас нужны данные в организации. Может, и не нужны.

- То есть политику нельзя просто «списать» у тех, кто этот путь уже прошёл?

Списать — плохой вариант. Разве что, у кого-то работающего в той же области и с такими же бизнес-целями. Такое возможно: уже есть достаточно хорошие платные каталоги политик управления качеством.

Например, при организации сети Open Knowledge Foundation сделали руководства по управлению качеством, по оценке качества и отраслевой стандарт оценки качества источников открытых данных. Даже делаются каталоги, в которых обозначены уровни качества источников данных.

- Какие проблемы управления качеством данных еще не решены?

Главный вопрос — анализ качества больших данных. Когда из-за недостатка времени и вычислительной мощности использовать сложные методы нереально, встает вопрос, как это сделать приближенно и насколько пострадает при этом качество. Здесь много чего предложено, но стандартных решений пока нет.

Перманентно актуальная область — работа с неструктурированными данными и с текстами на естественном языке. Генерировать тексты на абсолютно любые темы стало так просто и дешево, что скоро мы будем завалены фейками — погуглите веселый сайт TalkToTransformer.

- О чем вы расскажете участникам конференции?

Моя задача показать, что качество данных — не просто серьезная область, но в ней уже многое наработано и имеются готовые решения: инструменты, которые оценивают качество данных по куче метрик, помогают аудиторам, оценивают возможные последствия гармонизации данных. Эти инструменты надо использовать, чтобы не попасть впросак с управлением данными и знаниями.