Большие данные

В компании X5 Retail Group разработали сервис, который поможет покупателям избежать ненужных контактов в продуктовых магазинах: чтобы совершить покупку и быстро покинуть магазин, минуя кассу, потребуется только мобильный телефон. «Экспресс-скан» — система бесконтактных покупок с помощью мобильных устройств. Для подключения к ней нужно скачать приложение для iOS или Android и зарегистрироваться с помощью X5 ID. После этого можно собирать корзину, сканируя штрихкоды товаров с помощью видеокамеры мобильного телефона. Оплатив покупку в один клик через интерфейс приложения, можно смело покидать магазин, не вступая в контакты с людьми.

Запуск сервиса, повышающего безопасность посетителей магазинов, положил начало формированию новой модели покупок в продовольственном ретейле. Впервые в России систему полностью бесконтактных платежей встроили в действующую ИТ-архитектуру и операционные процессы обычных супермаркетов и магазинов «у дома». Как устроена система бесконтактных покупок, с какими сложностями пришлось столкнуться при ее создании и что было самым интересным в этой работе, рассказал номинант премии CDO Award 2021 Иван Мельник, директор по инновациям Х5 Retail Group.

- Как родилась идея сервиса?

Во время первой волны COVID стало очевидно, что люди в очереди боятся заразиться: стараются отвернуться друг от друга и осуждающе смотрят на «чихающую бабушку». Понятно, что им психологически тяжело и нужна помощь. Первой такой помощью стал сервис экспресс-доставки, получивший массовое распространение, но и в офлайн-магазинах помощь тоже требовалась. Когда первая волна пандемии начала спадать, мы обсудили эту проблему с директором «X5 Технологии» Антоном Мироненковым (лауреатом CDO Award 2020. — Прим. ред. ) и пришли к выводу, что в сложившейся ситуации людям крайне важно чувствовать себя в безопасности.

Во время эпидемии покупатели стали заметно больше пользоваться кассами самообслуживания. Если в начале года доля самообслуживания в трафике «Пятерочки» составляла 13–14%, то сегодня — уже 22%. А в некоторых «Перекрестках» и «Пятерочках» этот показатель превышает 50%. Скачок произошел в среднем на 4–5%, и это существенно. Привычки и предпочтения людей начали меняться. Мы поняли, что самообслуживание — правильное направление, востребованное у покупателей, и подумали, как здорово было бы разработать мобильное приложение, в котором можно самому отсканировать товар и оплатить его. Мы решили создать сервис, обеспечивающий полностью бесконтактные, быстрые и безопасные покупки с удобным сканированием и оплатой посредством телефона, без обращения в кассу. И внедрить такое решение не в одном или двух магазинах, успешно отчитавшись о пилоте, а сразу масштабно — для многих сотен торговых точек и миллионов покупателей. Поскольку вторая волна была прогнозируемой, команда проекта работала очень быстро: за три летних месяца сервис прошел путь от идеи до массового применения — невиданная скорость для проекта такого масштаба.

- Какая работа с данными была проделана?

Чтобы покупатель увидел в приложении полную информацию о выбранном товаре (состав, вес, страну производства, калорийность и т. д.), был проделан огромный объем работы по нормализации и систематизации всех описаний и названий в сложносоставных товарных матрицах магазинов. Мы привели их к виду, понятному покупателю. Практически все товары сфотографировали, потому что при сканировании человеку удобно увидеть изображение и понятное описание того, что он держит в руках, а не сокращения, принятые в торговой системе. Ничего нового в этом нет, просто нужно было очень быстро сделать большой объем работы.

- Какие источники данных использовались?

Мастер-системы хранения золотых записей по товарам, системы лояльности, описания товаров, массивы ассортиментных матриц и цен были выгружены в центральные сервисы, которые передают данные мобильным приложениям. Фактически все публикуется во внешнем контуре, чтобы мобильное приложение могло эти данные получить. Обычно это «святая святых» ретейлера, поэтому очень много внимания было уделено безопасности и выгрузке строго необходимого и достаточного набора данных, который, с одной стороны, не является избыточным, а с другой, обеспечивает достаточную функциональность. Приложение подключается не к самому магазину, а к его виртуальной реплике. Сканируя штрихкод, покупатель привязывается к матрице конкретного магазина — его онлайн-слепку, который постоянно синхронизируется.

- Как устроено решение?

В нем много слоев. Первый слой — мобильные решения для покупателей — выполнен с помощью классических фреймворков для iOS и Android.

Вторая составляющая — централизованные платформы обмена и управления данными. Они базируются на микросервисной архитектуре и содержат множество приложений на платформе Unix, потому что это дает скорость, устойчивость, да и элементарно дешевле по сравнению с другими способами.

Цены и ассортимент во всех магазинах разные, а в приложение должны поступать актуальные данные конкретного магазина. Поэтому была создана централизованная система хранения, постоянно синхронизируемая с магазинами сети, которая c высокой скоростью выдает наружу данные для мобильных сервисов о ценах, промоакциях и остатках.

Централизованная платформа управления клиентскими данными моментально обрабатывает данные клиентской базы, содержащей сведения о более чем 50 млн человек. Компания решила сразу запустить сквозную авторизацию пользователей, единую для всех магазинов и сервисов Х5, и мы разработали универсальную учетную запись Х5 ID, которая даст возможность пользоваться сервисами в наших торговых сетях после однократной регистрации.

Когда покупатель вводит номер телефона при регистрации, тут же сканируются все записи, связанные с этим номером, и к его профилю в приложении автоматически привязываются карты магазинов, которыми он пользуется. То есть при использовании «Экспресс-скана» действуют промоакции и цены конкретного магазина, в котором находится покупатель, начисляются стандартные баллы за покупки на его карту или карту, которую он сам привязал к своему профилю, чтобы, например, копить бонусы для всех членов семьи.

Для оформления фискальных чеков в приложении мы построили централизованную ферму на 1,5 тыс. онлайн-касс, подобную той, которой пользуются службы такси. Ферма фискализации чеков балансирует нагрузку и распределяет запросы от мобильных устройств. Интеграцию облачной кассовой фермы, учетных и торговых систем и регистрацию транзакций обеспечивает фискальный брокер — он обслуживает запросы мобильных приложений и транслирует их на ферму, к нему же подключены все онлайн-сервисы. Поскольку чек надо вернуть обратно в магазин, чтобы его видели финансовые службы, пришлось дорабатывать торговую систему и интегрировать решение с SAP.

- На каком технологическом стеке выполнено решение и реализованы омнисервисы?

Из совместных библиотек мы используем «Яндекс.Карты» для отображения карт и магазинов в приложении, Firebase — для статистики, аналитики и мониторинга стабильности приложения, AppsFlyer — для использования Onelink, а также Scandit.

В части авторизации применяется связка Keycloak и Tarantool Datagrid. Это отказоустойчивый кластер с репликацией в режиме active/active, обеспечивающий единое управление профилями клиентов. Остальное — микросервисная архитектура на платформе Java.

Архитектура мобильного приложения основана на принципе распределения функций по отдельным независимым блокам. К основным блокам относятся: управление доступом и профилем клиента; сборка корзины и оплата; предоставление данных о товарах; регистрация продаж в учетных системах. Каждый блок использует свой технологический стек, подходящий для решаемых в нем задач. Это позволяет гибко масштабировать каждую часть приложения, разрабатываемую отдельной командой.

Для высоконагруженных веб-приложений и реализации REST API мы применяем язык Python, в частности фреймворк Django. Операционная информация размещается в кластерах базы PostgreSQL, а наиболее запрашиваемые данные храним в памяти, используя СУБД Redis. Для хранения больших объемов данных в части ассортиментной матрицы и управления профилями пользователей используем решения на основе Tarantool Datagrid.

Учетный блок реализован на стеке Java, который позволяет наиболее органично реализовать и просто поддерживать сложную бизнес-логику наших legacy-систем. Управление микросервисной платформой осуществляется на основе собственного облака X5Cloud.

- С какими сложностями пришлось столкнуться?

Сложно было все: и описать 25 тыс. позиций товарного ассортимента за три месяца, и купить и установить оборудование, которое будет «тянуть» огромные нагрузки, и обеспечить изменения в бизнес-системах SAP. В нормальных условиях такой сложный комплексный проект, оформленный по всем канонам, длился бы год. В нашем же случае всего за три месяца кросс-функциональная команда из почти 100 человек смогла из состояния «ничего нет» создать пилот сразу для нескольких десятков магазинов с тысячами покупателей, чтобы потом, если новый способ оплаты понравится покупателям, быстро развернуть сервис на многие сотни торговых точек.

Сложной была и каждая ветка проекта в отдельности. В одно целое были объединены бизнес и ИТ: в магазины нужно было внедрить новый процесс и новое решение для покупателя и интегрировать их в сложное многообразие внутренних систем. Как у любого ретейлера, у нас огромный «зверинец» решений, каждое из которых выполняет свою задачу: торговые, логистические, системы лояльности, безопасности — целая вселенная.

Но самое сложное — построить решение, готовое к масштабному применению. Сделать продукт для 10–15 магазинов может и небольшая команда, а вот когда нужно построить систему, которая будет обслуживать тысячу магазинов, все резко усложняется из-за объема транзакций, требований к стабильности и отказоустойчивости, к безопасности и автономности. Когда нужно выполнить проникновение через слои интеграции, обеспечить глубокую связь с данными, начинается «космос».

- Что для вас было самым интересным?

Работа с покупателями. Когда идешь с первой версией к клиентам, для которых это тоже абсолютно новая история, и смотришь, как они реагируют, как обучаются. Ты делаешь очень простые в использовании решения, и они ценят эту простоту.

Проанализировав результаты пилотного проекта, запущенного в сентябре, мы доработали сервис, ускорили процесс авторизации в системе. Пользователям оказалось важно подтверждать успешно проведенную оплату через систему внешней валидации — кассу самообслуживания, отдельно стоящий валидатор или у ассистента в зоне выхода.

Наша команда рассматривала покупательские отчеты, которые формировались в магазинах: что удобно, что нет. Кто-то попросил сделать в приложении звук, как на кассе, чтобы стало ясно, что сканирование прошло успешно. Многие, нажав кнопку «оплатить», боялись выходить из магазина, потому что нужно пройти через кассу и вроде бы кто-то должен дать разрешение на выход, а такого человека нет. Поэтому мы придумали конечные устройства в магазинах. Сканируешь QR-код на панели, включается режим оплаты, нажимаешь «оплатить» — и большой телевизор над кассой громко говорит: «Оплата прошла успешно!» Тогда и покупатель понимает, что можно выходить, и кассиры понимают, что система зарегистрировала покупку. Некоторые магазины оснастили небольшими валидаторами, в некоторых других можно поднести телефон к кассе самообслуживания, и она скажет: «Спасибо, проходите». Вот эти вещи вызывали самые большие эмоции. Придумали сделать сканирование с ценника: вроде мелочь и ненужная функция с точки зрения программиста, а с точки зрения покупателя — очень важная и нужная, иногда помогающая сэкономить.

- Пользователи сервиса — кто они? За счет чего будет прирастать их число, когда вопрос социальной дистанции перестанет быть актуальным?

Это сервис в первую очередь для людей, которые хотят экономить время. Анализируя статистику, мы увидели, что при покупке с «Экспресс-сканом» человек тратит в среднем на 3–4 минуты меньше, чем обычно для быстрой покупки. Если умножить эти минуты на число походов в магазин, наберется чуть ли не неделя сэкономленного жизненного времени. Вроде бы немного, но заставляет задуматься. Мы четко видим, что люди, которые попробовали такой вид оплаты, начинают делать покупки чаще.

Ближайшее будущее продуктовых магазинов — за смартфонами, мобильными сканерами и кассами самообслуживания. Если в 2004–2005 годах системами самообслуживания пользовались 1–2% покупателей, то сегодня у нас есть магазины, где через них проходит больше половины трафика. Самообслуживание с помощью смартфонов сейчас только начинает набирать обороты. Пройдет несколько лет — и проникновение мобильных технологий в ретейл вырастет в разы. Зачем стоять на кассе, если можно положить товар в корзину, отсканировать его, нажать на этапе оплаты «ОК» и уйти.

- Ошибки, которые часто возникают при сканировании, удлиняют процесс покупки и требуют участия сотрудника магазина — то есть покупка перестает быть бесконтактной. Как этот вопрос решается в случае работы с «Экспресс-сканом»?

По статистике, прерывания на кассах чаще всего случаются из-за алкоголя и табака, так как закон требует проверить возраст покупателя, прежде чем продать ему товар. Поэтому в «Экспресс-скане» стоят блокировки на эти категории товара, возможность их покупки не предусмотрена. Мы решили формировать полезные привычки.

Остальной ассортимент видим в реальном времени. Система мониторинга бизнес-показателей отслеживает, сколько корзин сорвалось из-за того, что покупатель не смог отсканировать товар. Мы все опробовали на себе. Практика показывает, что помощь сотрудника магазина может понадобиться в момент обучения, для первых двух-трех покупок, а дальше покупатель уже делает все сам, без подсказок.

- Какой эффект получила компания?

Основной эффект — лояльность покупателей: они покупают быстрее и больше. Выбирая магазин, человек учитывает, где придется стоять в очереди, а где быстро и безопасно. Стандартная покупка с помощью «Экспресс-скана» занимает всего 5–6 минут. И клиенты переключаются на нас. Они заполняют персональные данные, привязывают к профилю в приложении свою банковскую карту, получая взамен удобство и комфорт. Более 22 тыс. пользователей создали уникальные профили Х5 ID, свыше 5 тыс. человек еженедельно совершают покупки с помощью «Экспресс-скана», большинство из них — регулярные, и число таких покупателей ежедневно растет. Экономится и время персонала: каждый чек, оформленный с помощью нового способа оплаты, высвобождает не менее минуты работы кассира.

- Чем вы особенно гордитесь в этом проекте?

Командой. Я еще не видел таких проектов, когда несколько больших команд, отвечающих как за технологии, так и за бизнес, как внутренних, так и подрядных, работают в едином порыве, с хорошей коммуникацией, без каких-либо внутренних противоречий и нестыковок, синхронно и с высокой скоростью. Все хотели помочь людям и были очень вдохновлены. Одно дело, когда ты просто создаешь процесс или систему, и совсем другое — когда ты реально помогаешь людям в критический период. Все делали этот проект с горящими глазами, носились — только «пятки сверкали». Даже если уберегли от заражения всего несколько человек, то это уже благо.

- Как планируете развивать проект?

Итерационно улучшать функционал, повышать скорость, делать удобнее — учитывать пожелания, оставленные в отзывах. Например, покупателям не нравится, что пакеты нельзя взять сразу на входе. То есть предстоит много операционной работы.

И масштабировать — система как раз построена так, чтобы быстро масштабироваться. Если в сентябре к сервису было подключено около 60 магазинов, то в декабре — уже свыше 500, и сейчас каждую неделю подключаются десятки новых. В ближайшем будущем «Экспресс-скан» будет во всех столичных магазинах «Пятерочка» и «Перекресток», а также в сети «Перекресток» в Санкт-Петербурге, Ленинградской и Московской областях. По результатам обязательно рассмотрим выход и в другие регионы.

- Проект будет окупаемым?

Я уверен в этом. Это видно по текущим метрикам: люди чаще приходят в магазины и покупают немножко больше, это приносит дополнительную выручку.

Более года назад был создан Альянс в сфере искусственного интеллекта, в который вошли шесть компаний: Mail.Ru Group, «Яндекс», Сбербанк, «Газпром нефть», РФПИ и МТС. Его изначальная цель – мероприятия, позволяющие ускоренными темпами развивать в России компетенции в области машинного обучения и искусственного интеллекта. Несколько дней назад альянс представил библиотеку AI Russia Works, в которой представлены лучшие примеры применения технологий искусственного интеллекта.

По словам организаторов, к созданию библиотеки решений привел целый ряд предпосылок. Например, IDC оценивает мировой рынок искусственного интеллекта в 2020 году более чем в 150 млрд долл., и через несколько лет он удвоится. В России же рынок решений на базе искусственного интеллекта ничтожно мал и не превышает 200 млн долл. – это существенно меньше, чем можно было бы ожидать. Однако очевидно, что у нашей страны огромный потенциал и ему надо помочь реализоваться – искусственный интеллект способен стать одним из драйверов развития экономики.

На пути к AI-вики

Роман Стятюгин: «Запуская эту библиотеку, мы даем старт самостоятельному проекту: он в дальнейшем будет поддерживаться и теми, кому интересно читать об успешном опыте, и желающими им делиться. Тогда в перспективе сформируется AI-вики»

«Мы стали оценивать возможности помощи рынку и увидели определенные барьеры, типичные для многих компаний», — отметил Роман Стятюгин, руководитель аналитических сервисов PREDICT Mail.ru Group, играющий роль одного из координаторов библиотеки кейсов. Например, на отечественных предприятиях (разумеется, если не говорить об общепризнанных лидерах рынка) отсутствует информация, как искусственный интеллект может улучшить их показатели – экономить или получать дополнительную выручку. Получается замкнутый круг: спрос компаний недостаточен для активного развития готовых продуктов, а уровень готовности решений пока недостаточен для стимуляции спроса на них.

Рынку требуется добавить прозрачности – информации о том, как решения с использованием искусственного интеллекта помогли их коллегам, и главное – какой экономический эффект был получен. При формировании библиотеки был сделан акцент не на технологии, а именно на бизнес-эффект. Как известно, получить такую информацию бывает непросто. Именно поэтому, по словам Стятюгина, в альянсе решили, что нужна авторитетная база знаний, верифицированная экспертами, о том, в каких индустриях внедряются технологии искусственного интеллекта и какие результаты приносят.

«Запуская эту библиотеку, мы даем старт самостоятельному проекту: он в дальнейшем будет поддерживаться и теми, кому интересно читать об успешном опыте, и желающими им делиться. Тогда в перспективе сформируется AI-вики, которую сообщество будет самостоятельно развивать и дополнять», — считает Стятюгин. Кроме того, ежегодно будут награждаться лучшие из представленных проектов.

«Мы демонстрируем кейсы, которые позволяют вдохновиться и заняться их тиражированием», — заявил Кирилл Булатов, генеральный директор Альянса в сфере искусственного интеллекта. По его словам, сейчас в библиотеке собраны более 40 примеров успешных внедрений в российских организациях самых различных отраслей с доказанной эффективностью. 80% кейсов уникальны и нигде не публиковались, причем 40% из них представляют внутренние разработки предприятий. Основные сферы их применения – производство, маркетинг и клиентский сервис, а один даже направлен на формирование стратегии.

Кирилл Булатов: «Мы демонстрируем кейсы, которые позволяют вдохновиться и заняться их тиражированием»

Составители библиотеки «целятся» в средний и топ-менеджмент компаний самых разных сфер. При отборе кейсов оценивают, насколько быстро окупилось решение, каким образом влияет на рост выручки или снижение расходов, рост производительности и качества продукции. При этом обязательно наличие внутри созданного решения не только «интеллектуальной начинки», но и доказанного количественного эффекта, в том числе подкрепленного финансовой отчетностью и проведением независимых аудитов.

Эффект – сто миллионов

Одним из проектов, описанных в библиотеке AI Russia Works, стал проект в Росэлторге – крупнейшей электронной площадке, на которой проходят государственные и корпоративные закупки; в год там проходит около миллиона тендеров на общую сумму 4-5 трлн руб. В компании накопился огромный объем информации о проводимых торгах, их участниках и победителях, а также исполнении ими договоров. Главной решаемой задачей стало повышение конкурентности торгов. В этом цели организатора и заказчика схожи: для «Росэлторга» тоже важно успешное закрытие тендеров – ведь они берут плату с победителей.

Андрей Кашутин: «Мы столкнулись с тем, что достигли потолка по успешному закрытию торгов. Повысить эффективность в этой области помогли именно технологии машинного обучения»

«Мы столкнулись с тем, что достигли потолка по успешному закрытию торгов. Повысить эффективность в этой области помогли именно технологии машинного обучения. Было важно более таргетированно приглашать поставщиков к участию в закупочных процедурах, не превращать эти приглашения в спам – разобрать несколько сотен приглашений в день абсолютно нереально», — рассказал Андрей Кашутин, первый заместитель генерального директора Росэлторга. На основе анализа данных удалось построить модель, которая позволяет четко понимать, кто из потенциальных участников с большей вероятностью будет участвовать в конкретной закупочной процедуре – с учетом его прошлых действий, географии, анализа семантики лота. После этого стали делать узкие, но таргетированные рекомендательные подборки для поставщиков – в 8 случаях из 10 удается угадать, что поставщику тендер интересен, и он подает документы на участие в нем. В результате площадка на 5,3% подняла число успешно закрываемых лотов, это довольно большие деньги.

Кроме того, требовалось предсказать, какие торги рискуют остаться незавершенными, а значит им требуется уделять повышенное внимание: настойчивее звать в них участников, обеспечивая конкурентность, – возможно, даже звонить и убеждать. Машинное обучение позволяет довольно хорошо выявлять такие закупки.

«В 30-40% случаев мы заблаговременно понимаем, что число участников не превысит одного, а значит лот не будет закрыт и мы не получим свою комиссию. В этих случаях все усилия маркетингового центра направляются на то, чтобы все-таки сделать торги конкурентными», — сказал Кашутин. И компании все лучше это удается: за первый год работы этого проекта была получена дополнительная выручка более 100 млн руб.

Маркетплейс моделей

«Создание библиотеки верифицированных кейсов крайне важно. Видя доказанный эффект, многим заказчикам будет проще сделать первый шаг – возможно, даже пропустив этап пилотного проекта или существенно сократив его. Это позволит российскому рынку развиваться быстрее зарубежного», — подчеркнул Дмитрий Дырмовский, генеральный директор группы компаний ЦРТ.

Не менее важно в рамках создания библиотеки «умных» решений каталога предобученных моделей для решения практических задач. Это принципиально важный вопрос: обмен информацией создает базис для развития технологий, а наличие готовых продуктов дает импульс для их внедрения.

«Мы бы очень хотели, чтобы наша деятельность привела к появлению библиотеки предобученных моделей или даже маркетплейса моделей», — признал Стятюгин. Перейти от информирования и популяризации непосредственно к предоставлению готовых решений было бы правильным шагом. Но для этого рынок должен немного созреть. Искусственный интеллект может выступать вишенкой на торте, но для нее нужна надежная основа – от инфраструктуры и наличия качественных данных до редизайна производственных процессов и встраивания в них интеллектуальных решений.

  Появление компании «Платформа больших данных» стало примечательным событием на российском рынке больших данных. Это совместный проект двух отечественных гигантов по развитию нового направления бизнеса, в который инвестируется миллиард рублей. Ожидается, что новая компания станет лидером рынка и серьезно усилит конкуренцию на нем. Учитывая масштаб  материнских компаний и степень их влияния на экономику, можно говорить о создании крупнейшего кросс-отраслевого источника данных. Максим Коновалихин, старший вице-президент, руководитель департамента анализа данных и моделирования банка «ВТБ», номинант премии CDO Award 2021, рассказывает об уже достигнутых результатах и делится планами дальнейшего развития.

- Как появилась идея создания «Платформы больших данных»?

Идея развития компетенции по работе с большими данными и создания продуктов на их основе появилась в банке в прошлом году. Стало очевидно, что, помимо внутренней трансформации, которая во многом основана на использовании больших данных, необходимо двигаться вовне, развиваться на конкурентном рынке как с точки зрения применения внешних источников данных,так и с точки зрения их монетизации через готовые сервисы. Изучались разные подходы к решению этой задачи, велись диалоги с лидерами рынка, экспертами в командах партнеров и консультантами. В итоге сложилась та конфигурация, которая существует сегодня, —  стратегическое партнерство с «Ростелекомом». 

-  Как определялась цель  проекта?

Цель проекта — создание лидера российского рынка в области работы с большими данными. Под лидерством подразумеваются как сильные компетенции команды и уникальные продукты, так и достижение жестких KPI по выручке и прибыли на горизонте пяти лет.

- Какова в этом проекте роль  ВТБ  и какова  — «Ростелекома»? 

Изначальная договоренность состояла именно в том, что стороны занимают паритетные позиции во всем. У «Ростелекома» есть серьезные наработки, связанные с технологиями работы с большими данными. Они уже используются во внутреннем контуре компании. Данные технологии можно применять для совместной работы, что позволит адаптировать их под новые задачи, увеличить монетизацию на внешнем рынке.

В свою очередь,  наш банк имеет отличный практический опыт построения алгоритмов машинного обучения, в том числе такого передового направления, как АutoML — автоматического машинного обучения, самостоятельно создающего новые модели. Эти наработки также будут использоваться в совместных проектах. Кроме того, у банка есть широкая сеть партнеров из абсолютно разных областей экономики. Наши бизнес-контакты — это тоже вклад в совместный проект. Конечно, стороны являются инвесторами в равных пропорциях, так как разработки в этой области трудозатратны и имеют значительный срок окупаемости.

- ВТБ и «Ростелеком» — крупные, довольно неповоротливые структуры, а новый игрок рынка данных должен быть инноватором. Что было сделано, чтобы он не унаследовал  нежелательных  качеств материнских компаний?

Специально для СП в марте было зарегистрировано новое юридическое лицо. С самого начала предполагалось создание самостоятельной компании, в команде которой  должны быть  профессионалы рынка, имеющие релевантный опыт работы. В последний год акционеры компании проходят активные фазы трансформации, чему очень способствовала пандемия.

У правления СП есть высокая степень свободы, которая отразилась в амбициозном проекте стратегии. В ближайшие месяцы финальная версия этой стратегии будет защищена, но уже сейчас можно сказать, что бизнес новой структуры опирается на рынок, а не только на материнские компании и партнеров.

- Что по сути представляет собой созданная  платформа? Каков  ее масштаб?

Лучше всего масштаб опишет рынок, на котором предстоит работать «Платформе  больших  данных». Его объем исчисляется десятками миллиардов рублей, и он растет очень уверенными темпами. Если говорить в терминах инвестиций, то стороны планируют совместно инвестировать в эту активность от 1 млрд руб. Масштаб амбиций также можно понять по широкому кругу компаний в периметре банка и «Ростелекома». 

Если говорить о платформе в разрезе продуктов, то планируется развивать четыре больших направления: финансовые продукты, геопространственный анализ, облачную инфраструктуру и рекламные сервисы. При этом нет ограничения по  продуктам: если команда видит потенциально сильный продукт, то его можно добавить в стратегию развития. Самое важное — чтобы этот продукт был востребован клиентами на В2В-рынке.

- Миллиард — серьезная инвестиция. Как оценивается срок ее окупаемости?

Сейчас мы находимся на этапе финализации и готовим защиту  стратегии. Срок окупаемости оценивается достаточно консервативно, что связано со сложностью разработки продуктов и наличием большого числа сильных конкурентов почти во всех сегментах рынка. Однако такое положение вполне соответствует привычному для банка уровню  риска.

- Какие принципы использованы при построении платформы?

Если речь о технологических принципах, то при построении платформы использовался принцип «гибридного» подхода. Отдельные компоненты платформы будут доступны в публичном облаке, это позволит нам быстрее тестировать гипотезы и в целом сократить время вывода продуктов на рынок (time to market). Кроме того, платформа должна обладать всеми передовыми системами обеспечения безопасности хранения и обработки данных. С точки зрения ПО мы делаем ставку на использование решений с открытым кодом и на российские разработки.

- Какие  ИТ-решения вы используете? Чем определяется ваш выбор? 

Наша основная цель — по возможности не использовать «неповоротливые системы» и не зацикливаться на отдельных вендорских решениях.

Компания ориентируется на решения из комплекса OpenStack, такие как Apache Kafka, Airflow, Hadoop, HBASE, Kudu, Ignite, Tableu и прочие. Кроме того,  применяем  ML-технологии Python и библиотеки для работы с данными Pandas и PySpark, библиотеки ML — от классических SKlearn, XGboost, LGBM до DL и графовых библиотек. Но некоторые решения, например управление мастер-данными (MDM), скорее всего, потребуют партнерства с тем или иным вендором.

- Какие данные объединила платформа? Как принимаются решения о включении того или иного источника?

На сегодняшний день тестируются очень разные наборы обезличенных данных, их пересечения, ищется оптимальная конфигурация. В нашем распоряжении уже более 1 тыс. параметров знаний о своей аудитории. Это очень ценные данные, на основе которых можно создавать конкурентные продукты и услуги  для рынка. Обезличенная информация  наших партнеров также  будет использоваться  в работе, если мы достигнем такой договоренности. Решения об использовании тех или иных данных команда «Платформы» принимает исходя из потребностей бизнеса и  в соответствии с текущим законодательством.

- Без стратегического подхода к управлению данными этот проект обойтись не мог. Каковы ключевые элементы стратегии управления данными?

Это верное замечание. Стратегическая цель СП — создать лидера рынка в области разработки и реализации продуктов на основе данных. В этом нас поддерживают  руководство банка и куратор от  правления. Для достижения этой цели необходимо придерживаться нескольких ключевых принципов. Первый из них — открытость: платформа будет доступна для подключения любому игроку, у которого есть такая потребность. Второй —  ориентация на самостоятельную окупаемость проекта. Это не кэптивный игрок, поэтому важна ориентация на рынок и его потребности. Третий  —  принцип центра компетенции по работе с данными. Его наработками может воспользоваться любой из акционеров и даже партнеров. Наконец — безопасность и максимальный охват: данные проходят процедуру мэтчинга  из различных источников на уровне однорангового взаимодействия на уровне единого идентификатора, то есть без прямого обмена семплами между партнерами. Они проходят процедуру обезличивания и преобразования в векторные представления посредством нейросетей. Восстановить  информацию о лицах или компаниях, которым принадлежат данные, невозможно.

- Что уже удалось сделать, какие продукты и сервисы появились?

На текущий момент в пилотно-коммерческой эксплуатации находится «Геоплатформа». У нее ряд серьезных преимуществ перед конкурентами: например, она имеет более 700 слоев геоданных и использует алгоритмы AutoML. Платформа активно проходит пилотную стадию и совершенствуется на основании отзывов от потенциальных клиентов.

- Что находится в разработке?

В разработке находятся продукты из разных сегментов: финансового, рекламного и инфраструктурного. Более точное описание продуктов сможем предоставить позднее, после защиты стратегии. Но уже сейчас можно заявить, что будет предложен новый интересный продукт на рынке рекламы.

В целом же платформа позволит эффективно решать бизнес-задачи в различных отраслях экономики, дополнять текущие цифровые продукты и конкурировать с ними, а также создавать сервисы нового уровня. Например, таким продуктом могут быть различные скоринговые оценки, представляющие вероятность исполнения различных целевых событий — от рисковых событий (вероятность дефолта или фрода),  выявления предпочтений различных продуктов  и  прогнозов  жизненных  ситуаций  до рекомендательных сервисов для различных сфер и областей. Ценность подобного сервиса очевидна:  «Ростелеком»  имеет большой охват как физических, так и юридических лиц, при этом до сегодняшнего дня эти данные не использовались в скоринговых моделях банковского сектора. Повышение качества скоринговых процедур банков  даст возможность  снизить нагрузку на капитал  банков и  тем самым позволит банкам иметь маневр в части снижения стоимости кредитования. Точность скоринга  поможет  повысить лояльность к банкам, а также потенциально снизит бюрократическую нагрузку.

Кроме того, речь  идет  о создании платформы обмена данными и маркетплейса моделей.  Различные компании — от финтех-стартапов до крупных и известных игроков — смогут строить модели на объединенных данных, используя передовые методы машинного обучения в выделенных песочницах  «Платформы  больших  данных». В дальнейшем исполнение моделей будет происходить также в контуре «Платформы» с получением результатов по API для использования  компаниями в их собственных производственных  процессах. 

- Каких финансовых и прочих производственных  результатов   удалось добиться ?

О финансовых результатах говорить пока что рано —  первая выручка ожидается в 2021 году. Самый главный результат сейчас — это готовая стратегия развития компании, которая проходит финализацию перед защитой у акционеров.

- Какое значение может иметь созданная платформа для рынка больших данных и услуг на их основе?

Платформа больших данных — первый уникальный  пример того, как  два больших институциональных игрока договорились использовать деперсонализированные данные для создания продуктов на внешнем рынке, и это без учета близких партнеров и их обезличенных данных. Такие заявления были, но по факту это ни у кого эффективно не работает.

Можно ожидать, что появление «Платформы» подстегнет конкурентную борьбу, от чего в конечном счете выиграет клиент — от небольшой кофейни до национального ретейлера. Время «сидения на своих данных» прошло, рынок активно развивается, и только те игроки, которые обладают достаточными амбициями и уверенностью в своих компетенциях, смогут занять на нем лидерские позиции.

-  Как вы представляете будущее  созданной  платформы?  Что ожидается в дальнейшем?  В каком направлении  она будет развиваться?

Мало кто может заглянуть за горизонт и сказать, какие продукты и технологии будут востребованы в будущем. Однако понятно, что наша платформа создается на принципах гибкости и адаптивности, поэтому при возникновении интересных технологий в области работы с данными она их быстро применит для создания новых решений. Знания о клиентах будут только углубляться, а мы приложим все усилия для того, чтобы предвосхищать их  потребности и  желания и реагировать на них быстрее конкурентов.

Одной из болевых точек сферы информационной безопасности является разрозненность специализированных инструментов. Им не хватает связности, позволяющей объединить получаемую информацию и обеспечить ее эффективное использование. В компании «Энджиар Софтлаб» — стартапе, занимающемся разработкой программных продуктов, создали решение Dataplan, способное значительно усилить базовый функционал решений по информационной безопасности и других информационных систем. С его помощью получается выявлять аномалии в данных и предоставлять доказательную базу при проведении расследований. Айк Татевосян, руководитель отдела аналитических систем «Энджиар Софтлаб» и претендент на премию CDO Award 2020, рассказывает о предпосылках и истории создания этого решения.

- Что наблюдается на рынке систем информационной безопасности, почему пришли к желанию разработать решение?

В любой крупной компании используется огромное количество разрозненных ИБ-решений: сетевые экраны, антивирусы, решения для предотвращения утечек (DLP), системы управления событиями информационной безопасности (SIEM) – каждая со своими результатами работы. В комплексе этих данных сложно найти какую-то закономерность и понять, что из них является инцидентом, где именно произошло нарушение.

Часто единым центром компетенций и обработки информации выступали SIEM. Но у них есть свои недостатки – например, они работают в рамках одного оперативного дня, и из-за этого для них характерно отсутствие причинно-следственной связи между событиями и возможности ретроспективного анализа. Решение инцидентов напоминает латание дыр без устранения причин их появления.

Мы считаем, что правильным и полезным является объединение нескольких источников данных: ИБ-решений и других компонентов ИТ-инфраструктуры: операционных систем, систем хранения данных, баз данных и т.д. Для решения этой задачи мы попытались собрать необходимый технологический стек, чтобы выявлять аномалии в данных, которые невозможно описать условными правилами. Когда мы подбирались к решению этой задачи, то поняли, что любая аналитика должна основываться на каких-то сущностях. Для нас такой сущностью стал пользователь, совершающий действия, поэтому целью стало построение профилей поведения пользователей.

- Что в самых общих чертах представляет собой продукт?

Dataplan – это аналитическая платформа для работы с большими данными и с возможностью применения машинного обучения. Ее первой практической областью применения стала сфера безопасности, где она позволяет сократить время работы аналитиков на принятие решений. Время реакции в ИБ – самый дорогой ресурс, а сокращение времени реакции на инциденты – это сохранение репутации и денег.

- Таких решений нет на рынке? Неужели никто до этого не додумался?

На зарубежном рынке есть решения класса User Behavior Analytics (UBA), позволяющие проводить поведенческий анализ деятельности пользователей. UBA-решения иностранных вендоров, представленные в России, имеют довольно высокую ценовую планку. Поскольку российский рынок ИБ невелик, то вложить несколько миллионов долларов в решения, эффект от которых не всегда ощутим, мало кто готов – такие инвестиции очень трудно обосновать.

Среди отечественных решений аналогов практически нет, но есть довольно много стартапов, пытающихся работать в этом направлении, и мало компаний, которые уже что-то разработали. Кроме того, часто у заказчиков работают собственные команды data science, но речь идет о разовых проектах, и цель по созданию законченных решений им не ставится.

Есть DLP-системы, в которых заявлено машинное обучение, но оно замкнуто в рамках конкретного решения. Мы пытаемся строить универсальный продукт, который можно подключать к неограниченному числу систем и не замыкаться в рамках одной платформы. Наша цель состоит в том, чтобы анализ был основан на действиях пользователя и на дополнительных факторах: его должности, подразделении, рабочей станции, приложениях, в которых он работает. После комплексной интегральной оценки можно более уверенно выявить пользователей, чье поведения является аномальным и, возможно, требующим проведения расследований.

- Что стало отправной точкой для создания системы?

История началась с того, что у одного из крупных заказчиков приобретенная зарубежная платформа «не взлетела». Ее долго настраивали, обновляли, потратили на это массу средств, но ситуация была далека от идеала.

Интегратор хотел закрыть работы и предоставить заказчику обещанный результат и доверил нам доработку решения. Тогда у нас и получился свой расширенный UBA, позволивший «приземлить» платформу и удовлетворить потребности заказчика. Клиент остался доволен, но надо понимать, что это были «костыли» — полученное решение не выглядело как конечный продукт, хотя и решало проблемы.

После решения этой задачи у нас сформировался определенный технологический стек, а также понимание сценариев, которые возможно реализовать с помощью полученной платформы. Мы увидели в созданном продукте самостоятельную ценность. Сейчас мы его завертываем в красивую обертку и делаем тиражируемым.

- Что представляет собой созданное решение с технической точки зрения?

На текущий момент архитектура решения достаточно сложная, в связи с чем мы разделяем ее на четыре основных компонента.

Первый (Dataplan Processing) является компонентом, отвечающим за сбор, фильтрацию, агрегацию и нормализацию событий. С его помощью данные приводятся к единому формату для создания витрин данных, с которыми можно вести аналитическую работу.

Второй (Dataplan Storage) отвечает за высокоэффективное распределенное хранение данных, предназначенное для онлайн обработки аналитических запросов (OLAP). Речь идет о больших данных, порядок которых при пиковой нагрузке достигает 100 тыс. событий в секунду, поступающих в среднем на боевые инсталляции системы. Вопрос архитектуры обсуждается с заказчиком и отчасти зависит от его потребностей.

Третий компонент – аналитика (Dataplan Analytics). Машинное обучение реализовано на скриптах языка Python.

Наконец, созданные модели отображаются с помощью компонента Dataplan Visualization, представляющего собой BI-инструментарий. Это рабочее место специалиста, которое является инструментом поддержки принятия решений и реализует визуализацию ключевых метрик и показателей результатов аналитики.

- На каких компонентах построена система?

Практически все инструменты, которые брались за основу, являются open source. Во-первых, в ходе создания решения решалась вполне конкретная задача, требовалось сделать «дешево и сердито». Во-вторых, в область открытых решений сейчас смещается политика очень многих компаний.

- Какую роль вы выполняете в компании?

В рамках компании выступаю в роли владельца продукта Dataplan. Являюсь евангелистом использования больших данных в общении с заказчиками, выявляю кейсы и продумываю их решение.

Мой типичный рабочий день – выезд к заказчику, проведение пресейлов и презентаций, выявление потребностей, попытка интерпретации бизнес-задач в технические задачи, оценка сроков, а также координация работы моей команды, донесение до неё новых планов по развитию продукта и отзывов о результатах командной работы.

Главный KPI, за который мне приходится отвечать перед руководством – удовлетворенность заказчика решением.

- Потребность в подобных решениях высока?

Конечно же, мы оценивали потребности рынка, собирали пожелания других заказчиков. Одна из них – автоматизация работы аналитиков, работающих с системами безопасности. Им важно понимать причинно-следственные связи, выявлять сложные сценарии атак. Например, вирусное заражение, которое антивирус может обнаруживать изо дня в день, каждый раз успешно его зачищая. Но сама проблема находится в автозагрузке, которая его порождает. Классические системы работают в реальном времени, им катастрофически не хватает ретроспективной аналитики, в том числе встроенных алгоритмов машинного обучения.

Изучив потребности потенциальных заказчиков, мы поняли, что задачи в области ИБ принципиально ничем не отличаются от бизнес-задач, часто стоящих перед компаниями. Случалось, и так, что мы предлагали решение офицерам информационной безопасности, а те приглашали руководителей проектов и бизнес-аналитиков и демонстрировали им возможности платформы. Поэтому мы уже перепозиционировали решение с первоначального UBA на xBA, где x – классическая неизвестная из математики, поскольку нам не важно, какая именно сущность будет подаваться на вход системы.

- Готовы ли компании тратить деньги на это?

Компании понимают, что в центре всего стоит человек, и именно поэтому тема поведенческой аналитики в ИБ начала так хорошо «заходить». Именно действия сотрудников – преднамеренные или нет – наносят наибольший ущерб, и это факт.

Так, например, наш продут помог сети московских кафе выявить сотрудников, причастных к махинациям с картами лояльности, когда при оплате счета наличными часть суммы оплачивалась баллами с карты лояльности сотрудника, а экономия уходила в карман недобросовестных сотрудников кафе.

Компаниям нужны системы поддержки принятия решений. Дефицит квалифицированных кадров – проблема, но еще хуже, что у имеющихся специалистов нет инструментов для анализа данных, упрощения и ускорения своей работы и обоснования своих действий. У компаний накопились данные за длительное время, и они хотят извлекать из них пользу.

- С какими проблемами пришлось столкнуться? Обычно это данные…

Да, качественные и хорошо подготовленные данные – мечта любого дата-сайентиста, позволяющая избавиться от рутины и заняться творчеством. Общая проблема заключается в том, что когда компания занимается сбором данных, то далеко не всегда понимает, зачем. Как следствие, данные хранятся обрывочно, они далеко не полные, и их нормализация может занимать много времени. Даже если мы видим, как задачу можно решить, часто оказывается, что нужных данных просто нет. Мы предлагаем включить сбор данных из необходимых источников хотя бы на пару месяцев и возвращаемся, когда нам есть с чем работать.

Кроме того, в сфере ИБ так повелось, что люди изначально не слишком доверяют и друг другу, и новым решениям. Часто заказчики предлагают нам пробные задания, не описывая конкретной задачи. Например, речь может идти о поиске в предоставленных данных каких-либо аномалий. Если наши выводы подтверждают имеющиеся факты, компания идет на диалог.

- То есть речь идет об обучении без учителя?

Нынешняя ситуация в нашей сфере – любые алгоритмы машинного обучения изначально должны обучаться без учителя и показать какой-то результат. Когда к заказчикам приходят с терминами big data, machine learning и обещают показать новые знания, естественным желанием является их проверить. К математическим «фокусам» привыкли относиться с недоверием.

Но дело не только в недоверии, но и в том, что компании сами понимают, что могут не обо всем знать. Парадигма остается прежней: специалист должен быть экспертом в области безопасности, глубоко понимать процессы, чтобы уметь интерпретировать имеющиеся данные. Однако от этой парадигмы мы отходим и пытаемся показать, что алгоритмы машинного обучения сами могут «подсветить» любые аномалии, а задача человека – дать заключение по ним. Чем больше человек будет работать в системе и принимать решения в ней, тем «умнее» будут становиться модели, обучаясь на действиях пользователя.

- Каких результатов позволяет добиться решение?

По внешним угрозам – выявление компрометации учетных записей и активов, утечек критичных данных и эксплуатации уязвимостей. По внутренним угрозам – злоупотребление выданными правами, инсайдерская деятельность, несоответствие используемых учетных записей. Однако эти эффекты могут видоизменяться в зависимости от специфики заказчика и его процессов. В одном из госучреждений в ходе пилотного проекта удалось выявить пользователей с аномальными правами доступа в результате их перемещений между подразделениями и рекурсивные вирусные заражения, когда из-за одного компьютера заражался весь сегмент сети.

Что касается ускорения работы аналитиков, то тут эффекты слишком индивидуальны. Зачастую речь идет о том, что некоторые из действий становятся принципиально возможными. В одном из крупных ретейлеров в день создавалось по 10 тыс. инцидентов безопасности по каждому из сценариев, и таких сценариев были сотни. Фактически речь шла о ручной обработке этих событий, что невозможно. Мы автоматизировали процесс проверки этих инцидентов.

Пробиваясь к заказчикам со своими пилотами, мы показали коммерческую ценность своих решений. У нас есть 20 клиентов, довольных проведенными пилотными проектами, пятеро из них уже готовы начать полноценное внедрение. В 2020 году начнется активное масштабирование наших решений. Про какие-либо конкретные цифры можно будет говорить позже.

- А в реальном времени какие-то задачи решаются?

У нас были пилоты, в которых это требовалось. Но мы совершенно точно не считаем это своей главной задачей. Ретроспективный анализ приносит больше пользы и имеет гораздо больший «вау-эффект» для заказчиков. И что немаловажно, эта ниша на рынке сейчас гораздо свободнее.

- В каком направлении будет развиваться платформа Dataplan?

Направлений для развития возможностей платформы очень много, на текущий момент мы активно прорабатываем функциональный модуль, основанный на прогнозном мониторинге (predictive monitoring).

Также есть исследовательские работы и попытки выход за пределы ИБ. Одна из ближайших перспектив – HR как наиболее понятная и близкая нам тема, в разрезе задачи по оценке персонала. Если подойти к своим специалистам с популярной оценкой «360 градусов», которую применяют к клиентам, можно получить массу полезных результатов. Например, оцифровывая входящих кандидатов и понимая, что собой представляет коллектив, получится подбирать более сплоченную команду.

В 2018 году компания «Северсталь» создала платформу Промышленного интернета вещей (IIoT) и на ее основе начала работы по оптимизации производственных процессов. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital, уже рассказывал о построенной в «Северстали» платформе IIoT и ее задачах. Тогда мы беседовали с ним, анонсируя его выступление в рамках форума «Управление данными — 2019» .

Сегодня мы представляем Доната Фетисова как номинанта на премию CDO Award 2020, и речь пойдет в большей степени о достигнутых результатах и культурных изменениях, происходящих в компании.

— Чем металлурги могут выделиться среди конкурентов? При чем тут данные и как «Северсталь» себя видит в работе на этом направлении?

Начать нужно с того, что главная задача «Северстали» — рост эффективности: стремление иметь не максимальный оборот, а как можно больший показатель EBITDA. Поэтому одним из направлений происходящей сейчас трансформации является активное создание цифровых продуктов, использование данных и алгоритмов машинного обучения. И об этом мы регулярно говорим на встречах с инвесторами. Максимальное использование всех возможностей применения искусственного интеллекта как альтернативы «человеческим» решениям — вот что позволит нам выделиться. Да, для этого необходимы данные, много данных, и мы делаем все, для того чтобы получить как можно больше информации о производственных процессах, причем детальной.

Несколько лет назад мы определились со стратегией развития: выбираем направления, где с помощью технологий можем повысить эффективность процессов. И мы по-прежнему ее придерживаемся. И сейчас видим, что не только внедрение прорывных методов в производство и перестраивание взаимодействия с клиентом может дать результат. Мы можем улучшить показатели на несколько процентов за счет использования нестандартных (пока что) для металлургии средств оптимизации.

— Существует ли специфическая цифровая культура? Что в компании нужно менять и что делаете вы?

Да, культура существует, иначе бы о ней столько не говорили. Наши же действия можно уложить в три пункта.

Сбережение данных — это обязательное, «гигиеническое» правило, которое мы пытаемся продвигать повсеместно. Это не менее важно, чем бережное отношение к электричеству или воде. Мы стараемся сохранять данные, особенно возникающие в производстве на нижнем уровне – сенсоры сами по себе информацию не накопят. А ведь именно здесь зачастую случаются самые интересные открытия. Тщательно собирая данные, мы закладываем фундамент для новых знаний. Может показаться смешным, но даже сам факт признания этого — серьезный сдвиг в мировоззрении людей. Многие относятся спокойно к потере потенциально полезных данных — надеются, что в работе им помогут данные более высокого уровня, однако их не хватает для выявления закономерностей в самом производстве.

Второе направление усилий — повышение общего уровня понимания того, как строится работа с информацией. Именно это позволяет сблизить дата-сайентистов с бизнес-заказчиками и сильно ускоряет процесс, поскольку преодолевается разрыв между ними. Мы создаем внутренние курсы по работе с данными. Например, сотрудник может на примере производства, на котором он работает, понять, что такое потоки данных, какие можно использовать технологии. Осознав это, люди начинают говорить с нами на одном языке, и это формирует здоровую атмосферу для реализации проектов.

Наконец, мы пытаемся вовлекать сотрудников в работу по схеме самообслуживания. Разумеется, многие бизнес-пользователи хотели бы, чтобы им продолжали выгружать данные в привычный Excel. Но поскольку речь идет о больших данных, это, конечно, невозможно. Поэтому мы их обучаем работать именно с данными из «озера». Чтобы они могли их использовать: кто-то через Power BI, кто-то через веб-интерфейс Hadoop.

Эти три шага — важные моменты в продвижении культуры data-driven.

— Но ведь для вовлеченности пользователей мало дать им данные — важно, чтобы они захотели работать по-новому.

В своих проектах мы показываем, как это можно делать. Кроме того, в рамках обучения Data Governance мы займемся описанием данных и сейчас выбираем инструмент для создания каталога данных. Люди не только узнают, что можно делать с данными, но и будут иметь своеобразную «Википедию» по ним. Любые имеющиеся в компании данные должны быть доступны пользователям.

— Как вы пришли к проекту Data Governance?

Все организации проходят определенные стадии зрелости. Первая из них — когда приходит понимание того, что данные нужно централизованно собирать. На этом этапе как раз начинают создавать озеро данных. В этот момент в компании появляется узкая группа специалистов, умеющих это делать, и они жаждут «поиграться» с этими инструментами. Такая ситуация может существовать довольно длительное время. Но рано или поздно все начинают осознавать, что не должен управлять данными лишь этот небольшой коллектив — нужно вовлекать гораздо больше людей. Для реализации полноценного Data Governance необходимо, чтобы владельцы данных участвовали в процессе описания данных и их идентификации. Мы формируем каталог данных, определяем владельцев каждого домена данных и в конечном итоге хотим прийти к ситуации, когда точно известно, какая информация есть в организации, и понятно, с кем можно обсудить объекты и связанные с ними данные.

Нужно не просто научить людей работать с данными и дать им инструменты. Требуется вовлечь их в процесс «культивации» данных — следить за их качеством, доступностью и т. п. Это очень непросто делать, пока люди не воспринимают данные как актив.

— Какие проекты уже удалось реализовать на базе созданной платформы Интернета вещей? За счет чего достигается монетизация?

Финансовые эффекты проявились уже в 2018 году. Но более заметными для внешнего наблюдателя наши проекты стали, когда среди них появились модели управления производством. (Один из таких проектов — регулировка прокатки слябов с помощью алгоритмов машинного обучения. — Прим. ред. )

Монетизация происходит по-разному — не всегда речь идет об управлении агрегатами. У нас есть ряд проектов, направленных на снижение простоев за счет предсказания аварийных ситуаций и планирования ремонтов. Кроме того, хорошие результаты дают проекты, направленные на обнаружение дефектов. Это довольно актуальная тема именно для металлургов: в производстве выполняется много переделов, и на каждом из них есть риски возникновения дефектов, на что клиенты реагируют очень болезненно. Мы создали модель, дополняющую ранее существовавший комплекс и позволяющую немного точнее (а в некоторых случаях и существенно точнее) выявлять дефекты.

Всего мы запустили в эксплуатацию около 15 проектов, касающихся разных аспектов, — прогнозирование необходимости в обслуживании, экономия ресурсов, оптимизация действий, устранения дефектов, ускорение процессов. Все направления, где просматривался очевидный экономический эффект, мы уже охватили. Но у нас еще много площадок для применения новых подходов. Предприятия, вдохновленные нашими результатами, все чаще обращаются к нам.

— Вы пытаетесь оценивать эффективность своих проектов?

Я представляю порядок цифр получаемых результатов. Они не только многократно превышают затраты на работу нашего подразделения, но и заметны в общей прибыли. Надо понимать, что повышение эффективности процессов металлургического комбината даже на несколько процентов может дать финансовый результат, сравнимый с бюджетом средней компании.

— Как происходит отбор и приоритизация проектов? Наверняка кандидатов больше, чем имеющихся ресурсов.

Мы проводим ранжирование в первую очередь по ожидаемому эффекту, так как в деятельности нашего подразделения существует лишь один приоритет — финансовый результат. Именно поэтому приходится все аккуратно считать. Имея перед глазами портфель проектов-кандидатов, напротив каждого из которых стоит число, можно без затруднений решить, на чем сосредоточить силы.

Разумеется, есть и другие факторы, но они скорее относятся к ограничениям: доступность данных, готовность инфраструктуры, наличие времени и ресурсов на площадке у заказчика. Из-за этого некоторые проекты, перспективные с точки зрения ожидаемого эффекта, приходится тормозить, пропуская вперед другие.

Сейчас у нас в очереди не меньше десятка проектов. Причем часто бывает так, что один реализованный проект порождает несколько других. Однако наш коллектив каждый год удваивается, и мы себя чувствуем комфортно.

— Чему вы научились в ходе работы над платформой Интернета вещей? Какие выводы сделали как руководитель?

Основной урок в том, что рост культуры работы с данными напрямую зависит от числа вовлеченных людей. Да, профессионализм коллектива важен, но при плохом раскладе специалисты по работе с данными превратятся в анклав, который будет работать закрыто и к которому остальные не будут даже подходить. Руководитель, начинающий путешествие в мир работы с данными, должен это понимать. Я совершенно четко увидел, что чем больше людей вовлечено, тем быстрее получится добиться результата.

И второе: чтобы количество заказчиков росло, нужно всеми способами менять их сознание, показывая, каких целей можно добиться.

— Что бы вы сделали по-другому, если бы представилась возможность начать заново?

Как известно, история не терпит сослагательного наклонения. Оглядываясь назад, могу сказать, что процесс подготовки инфраструктуры следовало бы начать заранее — это могло бы существенно ускорить многие проекты. Часто задержки возникают вовсе не из-за отсутствия данных, а из-за обидных «мелочей»: недостаточно широкая сеть, нет какого-то помещения, не хватает людей. В некоторых новых проектах по-прежнему приходится решать эти проблемы ситуативно. Однако на первых этапах у нас не было аргументов в пользу таких вложений.

Хочу отметить еще один важный момент: хотелось бы как можно раньше начать накапливать даже не сами данные, а знания о них. Такая задача встает в каждом новом проекте, и внедрение каталога данных на более раннем этапе помогло бы ее решить. Но здесь имеем традиционную дилемму: либо делать продукты по Agile и «приносить быстрое счастье», либо вкладываться в подготовку и откладывать получение результатов на будущее. В современном мире обычно предпочитают первый подход.

Надо сказать, что на первом месте у нас всегда стояло получение эффекта, поэтому все, что мы делали, было довольно последовательно.

— Как вы видите свою роль и роль своего подразделения в развитии «Северстали»?

Я считаю себя евангелистом в двух аспектах: продвижение современных технологий для работы с данными и продвижение самих методик работы с данными. Союз технологий и подходов data science — то, что мы продвигали и будем продвигать.

Вторая важная роль — повышение доступности и прозрачности данных различных подразделений. Да, у нас на первом месте стоит получение финансового эффекта, но на втором — оздоровление ситуации с данными. По мере того как ставки растут, степень готовности данных перестает устраивать компанию. В любых проектах поиск и подготовка данных — это существенная часть работ. Сократив ее, мы сможем в разы повысить скорость реализации проектов.

Успех в цифровом бизнесе невозможен без эффективной стратегии работы с данными. Как ее сформировать, а затем воплотить в жизнь, обсудили участники конференции «Качество данных 2020», которую провело издательство «Открытые системы». Независимо от того, насколько убедительны бизнес-аргументы или талантлива команда разработчиков, без консолидированных качественных данных любые проекты цифровой трансформации обречены на провал.

Реляционные базы данных, озера данных и хранилища NoSQL являются мощными средствами, позволяющими выполнять операции сбора, обновления, поиска, выборки и обработки данных. Вместе с тем они, как ни странно, обычно не предоставляют инструментов и интерфейсов, позволяющих организовать совместное использование того, что находится внутри них. Соответствующие ресурсы зачастую больше похожи на сейфы для данных. Известно, что внутри находятся ценные сведения, но простого способа получить доступ к ним снаружи не существует.

Бизнесу приходится иметь дело с множеством самых разных хранилищ данных: многочисленными корпоративными базами данных, небольшими информационными складами, ЦОДами, облаками, приложениями, инструментами бизнес-анализа, API, электронными таблицами и открытыми источниками данных.

Конечно, метаданные для таблиц, хранимых процедур, индексов и других объектов базы данных можно получить с помощью запроса к реляционной базе данных, составив таким образом ее каталог. Но такой подход отнимает много времени, требует хорошей технической подготовки и позволяет получить только базовый список из одного источника данных.

Можно использовать инструменты для обратного проектирования моделей данных или навигации по метаданным. Но они, как правило, предназначены для технических специалистов и служат главным образом для аудита, документирования и анализа баз данных.

Другими словами, возможностей запросов и инструментов, извлекающих метаданные, для удовлетворения имеющихся потребностей бизнеса сегодня явно недостаточно. Обусловлено это следующими причинами:

• cуществующие технологии требуют очень хорошей технической подготовки и вряд ли могут эффективно использоваться конечными пользователями;
• предприятиям, которые оперируют множеством баз с большими данными, различными технологиями баз данных и гибридными облаками, слишком много операций придется выполнять вручную;
• имеющиеся подходы не особенно полезны для исследователей данных, желающих наладить совместную работу и проводить эксперименты с машинным обучением, используя первичные и производные наборы данных;
• стратегия аудита метаданных не упрощает командам, осуществляющим управление данными, переход к методам активного управления.

Единый достоверный источник сведений об информационных активах организации

Каталоги данных существуют уже достаточно давно и приобретают все более стратегический характер, поскольку организации масштабируют платформы больших данных, инвестируют в программы исследования данных и машинного обучения, а также стараются поддерживать управляемое данными поведение.

Первое, что нужно знать о каталогах данных: это инструменты, помогающие всей организации обучаться и взаимодействовать на основе источников данных. В организациях, которые пытаются ориентироваться на данные, экспериментировать с машинным обучением и использовать встроенные средства анализа в приложениях управления взаимоотношениями с клиентами, им отводится очень важная роль.

Ответственность за интеграцию каталогов данных с основными источниками данных предприятия возлагается на инженеров по данным, разработчиков программного обеспечения и других технических специалистов. Именно они чаще всего обращаются к каталогу данных и видоизменяют его, особенно в процессе создания и модификации баз данных.

Каталоги данных, взаимодействующие с большей частью массивов данных предприятия, представляют собой единый источник достоверной информации. Они помогают ответить на вопросы о том, какие данные существуют у предприятия, где найти наилучшие источники данных, как защитить данные и кто обладает необходимым для этого опытом. Каталог данных включает в себя инструменты для обнаружения источников данных, получения метаданных для этих источников, выполнения поиска и управления метаданными.

Многие каталоги данных выходят за рамки понятия структурированного справочника, описывая связи между источниками данных, сущностями и объектами. Большинство каталогов отслеживают различные классы метаданных, особенно в части конфиденциальности и безопасности. Они позволяют получить и совместно использовать информацию о том, как различные люди, подразделения и приложения используют источники данных. Большинство каталогов данных включают также инструменты для определения словарей данных, для профилирования и очистки данных, а также для выполнения других сервисных операций. Специализированные каталоги данных предоставляют также возможности управления основными данными и получения информации о происхождении данных.

Продукты и сервисы каталогов данных

На рынке сегодня присутствует достаточно много инструментов и платформ для ведения каталогов данных. Некоторые из них представляют собой расширение какой-то другой инфраструктуры и функций управления корпоративными данными. Другие открывают возможности нового поколения и ориентированы на простоту использования, взаимодействие и дифференциацию машинного обучения. В конечном итоге выбор будет зависеть от масштабов, уровня квалификации пользователей, стратегии исследования данных, архитектуры данных и других требований, предъявляемых организацией.

Приведем примеры продуктов для ведения каталогов данных.

• Azure Data Catalog и AWS Glue – сервисы каталогизации данных, встроенные в платформы публичного облака.
• Функции каталога данных поддерживают многие платформы для интеграции данных, в том числе Informatica Enterprise Data Catalog, Talend Data Catalog, SAP Data Hub и IBM Infosphere Information Governance Catalog.
• Некоторые каталоги данных предназначены для платформ больших данных и гибридных облаков. К ним относятся, в частности, Cloudera Data Platform и InfoWorks DataFoundry, поддерживающие операции с данными и их настройку.
• Существуют автономные платформы с функциями машинного обучения: Unifi Data Catalog, Alation Data Catalog, Collibra Catalog, Waterline Data и IBM Watson Knowledge Catalog.
• Инструменты для управления основными данными (например, Stibo Systems и Reltio), а также платформы клиентских данных (Arm Treasure Data) также могут использоваться в качестве каталогов данных.

Машинное обучение для лучшего понимания данных

Функции автоматизации процесса обнаружения данных, осуществления поиска в репозитарии и предоставления инструментов для взаимодействия относятся к числу базовых. Более развитые каталоги поддерживают функции машинного обучения, обработки естественного языка и программирования с написанием минимального объема кода.

Функции машинного обучения могут принимать различные формы, зависящие от платформы. Unifi, к примеру, имеет встроенный функционал рекомендаций, который анализирует, как люди используют, объединяют и маркируют первичные и производные наборы данных. Проанализировав характер использования, компоненты машинного обучения выдают рекомендации другим пользователям в момент, когда они обращаются с запросом к аналогичным данным и шаблонам. В Unifi применяются также алгоритмы машинного обучения для профилирования данных, выявления конфиденциальной идентификационной информации личного характера и маркировки источников данных.

Collibra использует машинное обучение, чтобы помочь администраторам классифицировать данные. Компонент Automatic Data Classification анализирует новые наборы данных и сопоставляет их с 40 уже имеющимися классификаторами – адресов, финансовой информации и идентификаторов продуктов.

Waterline Data использует патентованную технологию отпечатков, которая автоматизирует обнаружение, классификацию и управление корпоративными данными. Одним из направлений является идентификация и маркировка конфиденциальных данных, которая, как утверждается, сокращает время, требуемое для маркировки, на 80%.

У разных платформ имеются разные стратегии и технические возможности для обработки данных. Некоторые из них функционируют только на уровне каталога данных и метаданных, в то время как другие поддерживают расширенные функции подготовки данных, их интеграции, очистки и других операций с данными.

Корпоративная система обработки и настройки данных InfoWorks Data Foundry непосредственно интегрирована с алгоритмами машинного обучения. Интерфейс визуального программирования, требующий написания минимального объема программного кода, позволяет конечным пользователям объединить данные с алгоритмами машинного обучения: кластеризацией k-means и классификацией по алгоритму случайных лесов.

Сегодня мы находимся на ранней стадии разработки активных платформ и каталогов данных, обеспечивающих управление, расширяющих операционные возможности и содержащих исследовательские инструменты для предприятий с растущими объемами данных. По мере роста ценности данных и их анализа, у организаций возникает потребность в их масштабировании и управлении ими. Одной из тех областей, в которых различные платформы каталогов данных будут конкурировать друг с другом, вероятно, станет машинное обучение.

Дирекция региональных продаж ПАО «Газпром нефть» (ДРП) управляет сбытом различных видов моторного топлива компании через собственную розничную сеть, состоящую из более чем 1,8 тыс. АЗС и включающую свыше 800 магазинов и кафе, а также через оптовые каналы и сервисы для коммерческих транспортных парков. Кроме того, подразделение отвечает за товаропроводящую сеть, в которую входят нефтебазы, лаборатории и собственный парк бензовозов. В периметре компаний под управлением дирекции работают более 20 тыс. сотрудников, и по численности персонала это примерно треть всей группы «Газпром нефть».

В ДРП построена уникальная на сегодняшний день платформа — smart data lake. В ее рамках озеро данных и аналитическое хранилище данных интегрированы с инструментами Data Governance. Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж «Газпром нефти» и номинант на премию CDO Award 2020, рассказывает о пути к созданию умного озера данных, о первых результатах и ближайших направлениях развития.

- Какова история подходов к работе с данными в Дирекции региональных продаж?

У нас сложилась уникальная для крупного бизнеса ситуация с автоматизацией и управлением данными. Наше сбытовое подразделение было выделено в «Газпром нефти» в 2008 году. Тогда же пришла команда топ-менеджеров, сохранившая свой состав по сей день, и стартовала программа унификации процессов, а затем и информационных систем всех дочерних предприятий. В этой програме я принимал активное участие.

В 2009–2011 годах в ДРП были внедрены унифицированные для всех регионов учетные и производственные системы: системы управления АЗС, коммерческого, бухгалтерского и управленческого учета, планирования и бюджетирования, управления инвестициями, персоналом, автотранспортом и др. Это позволило создать институт владельцев систем и через него управлять регламентами ведения первичных данных, расчета ключевых показателей и их изменения. С помощью сравнительного бенчмаркинга показателей регионов были найдены лучшие способы, позволяющие экономично вести деятельность. Благодаря тиражированию этих практик ДРП, в течение трех лет удалось существенно сэкономить затраты и добиться прироста продаж. Сбыт моторного топлива «Газпром нефти» стал признанным эталоном эффективности в России.

- Когда и как пришло понимание того, что надо заниматься развитием комплексных аналитических решений?

Иван Черницын: «Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий».

В 2011 году мы задумались об интеграции данных всех учетных и производственных систем в едином аналитическом пространстве, чтобы находить новые инсайты. Для этого мы разработали и внедрили систему управления нормативно-справочной информацией и подошли к выбору платформы класса BI. В конце 2012 года проект BI стартовал. В его ходе мы отказались от создания единого хранилища данных ради скорости реализации аналитических задач, взамен было организовано логическое хранилище с единым семантическим слоем на платформе Qlik. Благодаря очень удачному архитектурному решению наша BI-система за четыре года стала одной из самых функциональных и крупномасштабных в России. У всех сотрудников появились единый бизнес-словарь и набор гибких аналитических инструментов с едиными методиками и терминологией.

Мы также сформировали центр компетенции по BI, объединивший не только системных аналитиков, архитекторов и разработчиков, но и экспертов по качеству данных. Благодаря организации эффективной работы и очень пристальному вниманию к качеству данных, к концу 2016 года с единым BI работали уже более 1,1 тыс. пользователей. Это решение аккумулировало данные свыше 80 корпоративных систем, а очередь на разработку нового функционала от бизнес-заказчиков состояла из более чем 200 задач.

Вместе с тем за годы работы с аналитическими инструментами выросла культура сотрудников и стали меняться требования подразделений. Усложнялись алгоритмы обработки данных, рос их объем и количество источников, появлялось все больше внешних данных. Кроме того, бизнес-аналитикам требовались актуальные диаграммы происхождения данных, различная статистика по качеству данных, инструменты поиска данных на внутренних слоях BI. У нас возникла необходимость в проактивном управлении качеством данных.

- Какой подход был выбран?

Чтобы удовлетворить наши новые потребности, мы совместно с фондом «Сколково» в 2016 году масштабно исследовали рынок решений, изучили рекомендации DAMA DMBoK, пообщались с экспертами Gartner и сделали много референс-визитов. В итоге остановились на концепции комплексной системы управления данными. Она включала в себя каталог данных с описаниями и происхождением объектов данных, каталог правил по качеству данных с возможностью обогащения правил и просмотра их статуса и истории, бизнес-глоссарий с инструментами управления изменениями определений и формул расчета бизнес-терминов, а также пользовательский портал. С целью сделать детальные данные доступными для аналитиков мы провели изыскания в области промышленных инструментов обработки и хранения данных, после чего было решено внедрить современное многокомпонентное логическое хранилище данных.

- В чем заключалась суть этого проекта?

В конце 2017 года мы сформировали и защитили программу из двух взаимосвязанных проектов («Создание озера данных ДРП» и «Создание системы управления данными ДРП») как часть стратегии цифровой трансформации нашего бизнеса. Совместный результат программы проектов мы стали называть «умным озером данных», в соответствии с зарубежными терминами smart data lake и governed data lake. Я стал лично отвечать за программу, а наш центр компетенций расширился на 20 человек и получил в 2018 году сначала название «Офис управления данными», а затем, в 2019 году, — «Центр аналитических решений». Сейчас у нас более 60 сотрудников, и в едином подразделении работают специалисты по качеству данных, по управлению метаданными, разработчики и архитекторы big data, хранилищ данных и BI, системные аналитики, исследователи данных, а также тренеры по развитию аналитической культуры.

- Тренеры по развитию аналитической культуры? На кого именно направлена их деятельность?

На всех бизнес-сотрудников, которые используют или хотят использовать аналитические решения либо хотят изменить свою роль в подразделениях.

В нынешнем году у нас появилась матрица компетенций, включающая как технические, так и нетехнические навыки, уровни развития компетенций, индикаторы их наличия. К этой матрице привязаны программы обучения, семинары и тесты. За 2019 год более 400 специалистов прошли обучение по Python, SQL, машинному обучению и применению аналитики в различных направлениях бизнеса. Неплохо для начала. За прошлые годы на курсах по BI в общей сложности обучилось 1,2 тыс. человек.

Сейчас разрабатываем онлайн-курсы для удаленных сотрудников и программы тестирования. В дальнейшем сотрудники, которые не прошли тесты, подтверждающие соответствующие компетенции, не будут допускаться к работе со сложными аналитическими инструментами. Неподготовленные сотрудники не должны дискредитировать своими действиями всю аналитическую программу. Полученные ими некорректные результаты или интерпретации могут привести к самым нежелательным последствиям — подрыву доверия к данным со стороны руководителей бизнеса.

- Что такое «умное» озеро данных? Чем оно отличается от «обычного»?

Согласно оценкам Gartner, в мире 83% озер данных превращаются в «болота данных» и в итоге забрасываются из-за проблем с поиском качественных данных. Еще сильнее усложняет ситуацию то, что все больше компаний используют гибридную архитектуру хранения (часть данных хранится в публичных облаках, а часть — в корпоративных озерах и хранилищах). Выходом из ситуации является создание озер и хранилищ с интегрированными инструментами управления данными: каталогом данных, системой управления качеством данных, бизнес-глоссарием, средствами интеграции и маскирования данных. Однако на сегодняшний день не существует готовых промышленных решений, включающих в себя комплексные платформы обработки, хранения и управления данными. К созданию таких решений приблизились Microsoft и Amazon в своих публичных облаках. В материалах Gartner и публикациях вендоров описаны архитектурные шаблоны для таких решений.

- С какими проблемами пришлось столкнуться в ходе проекта?

Подобных решений нет не только в России, но и на Западе. И вообще было непонятно, как это будет работать на практике.

В Gartner признают, что «умное озеро данных» — это не практическое решение, а продвинутый архитектурный шаблон на будущее, который сегодня апробируют Microsoft и Amazon в собственных облаках. А мы построили все это на своей площадке.

Мы реализовывали умное озеро данных на базе практических бизнес-кейсов, входящих в состав актуальных проектов, при этом обкатывая совместную работу компонент и участников команды разработки. Проект был крайне сложным, мы несколько раз меняли подходы и переделывали реализованные кейсы, когда находили новые решения. Только организовав работу всех участников в одной команде с единой мотивацией, мы смогли преодолеть огромное множество технологических и методологических трудностей.

- Какова архитектура созданной платформы данных? На каких решениях она построена?

«Умное озеро данных ДРП» — название комплексной системы управления данными, а не просто разновидность Data Lake. Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. Умное озеро данных ДРП включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science.

- Какие источники данных вы используете в своей работе?

К внешним источникам можно отнести Санкт-Петербургскую товарно-сырьевую биржу, «СПАРК-Интерфакс», Портал открытых данных РФ, сайты Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. И конечно, мы широко охватываем наши внутренние системы.

- Как в рамках проекта выстроена работа с качеством данных?

Система управления качеством данных была выстроена очень серьезно в рамках развития единого BI. Исторически это реактивная система, которая развивалась через разрешение инцидентов с данными (аналог service desk), но она весьма эффективно работала. В 2015 году мы создали выделенную функцию по качеству данных, за 4 года выросшую в подразделение из семи человек, чьей задачей было системно не допускать повторных ошибок. Эти специалисты формализовывали причины появления дефектов данных и формировали запросы на доработку систем-источников или BI-инструментов. Поскольку BI-система интегрировала все ключевые данные в контуре ДРП, выполняла массовое устранение причин дефектов в данных через решение ежедневных обращений от сотен сотрудников, большой эффект распространялся на все системы и в целом на культуру работы с данными в контуре всех наших подразделений.

Однако, после того как число BI-приложений в парке выросло до нескольких сотен, созданными правилами стало сложно управлять, при доработках для различных заказчиков начали возникать несоответствия в требованиях по качеству данных. Исправить ситуацию помогла идея централизованного каталога правил по качеству данных, чтобы правила можно было видеть в разрезе потоков данных и ключевых наборов данных, витрин или BI-приложений и привязывать к аспектам качества, бизнес-процессам, определять уровень их критичности. Это дает возможность видеть не только существующие правила, но и пробелы в них. Возможные проблемы можно предвидеть еще до их появления — система управления качеством становится проактивной. Чтобы внедрить такую систему, мы при формировании умного озера данных предусмотрели промышленное решение класса Data Quality, охватывающее именно эти функции.

Вследствие этого в подразделении по качеству данных фокус сместился с прошлого на будущее: если раньше все внимание было направлено на устранение причин уже произошедших ошибок в данных, то сейчас — на разработку системы проактивного мониторинга, продумывание и настройку правил по качеству данных, чтобы тем самым избежать ошибок.

- Насколько обязательно для бизнеса использование созданной вами платформы?

На созданной централизованной аналитической инфраструктуре мы реализуем актуальные задачи исходя из бизнес-приоритетов. При таком подходе с течением времени все ключевые данные и аналитические модели окажутся в умном озере данных.

Однако, чтобы наш ресурс не стал «бутылочным горлышком», мы не мешаем создавать в некоторых проектах локальные аналитические решения со своими отдельными командами. Выбор нашей инфраструктуры и нашей внутренней команды — это дело добровольное для бизнес-заказчиков. Мы делаем ставку на то, что завтра эффективность и высокое качество работы нашей команды приведут к полному охвату всех задач и данных ДРП в умном озере данных.

Точно такая же схема работы была во времена BI, когда внутренний Центр компетенций по BI за несколько лет вытеснил всех внешних подрядчиков. Подразделения просто перестали заказывать работы извне, потому что мы смогли очень качественно решать все задачи своими силами.

- Приведите в качестве примера несколько наиболее ярких проектов, реализованных в последнее время.

Первые кейсы включили в себя конвейер обработки транзакций АЗС, расчет сегментов для клиентской аналитики, семантический анализ обратной связи от клиентов в различных каналах, обработку многолетних внешних и внутренних данных о ценах на нефтепродукты. Несмотря на трудности, уже первичное внедрение стало успешным: на текущий момент примерно половина всех аналитических проектов и инициатив ДРП уже реализуется в контуре умного озера данных, план на 2020 год — охватить не менее 75%.

- Можно ли что-то сказать о первых финансовых результатах этих проектов?

Эффект от озера данных нужно считать очень трезво. Пока очевидно лишь то, что мы экономим на интеграции данных для многих проектов, сокращаем время поставки готовых наборов данных для всех будущих проектных и продуктовых команд, а также для задач прототипирования.

Когда мы только пилотировали клиентскую аналитику — расчет сегментов с помощью машинного обучения, — уже первые кейсы, сделанные «на коленке», без всякого озера данных, дали серьезную монетизацию. Возврат клиентов, склонных к оттоку, вырос втрое. Существенное преимущество озера в том, что модели переносятся в более надежную среду, получают надежные инструменты, обеспечивающие качество данных. Поэтому большинство эффектов будет проявляться спустя некоторое время.

- Почему именно сбытовое подразделение компании выступило в авангарде создания умного озера?

В двух других крупнейших бизнес-блоках «Газпром нефти» тоже внедряются озера и аналитические хранилища данных, они сфокусированы на обработке и хранении данных и быстрой разработке и монетизации бизнес-кейсов, но не на Data Governance.

Архитектура smart data lake, которую мы реализуем в ДРП, — самая сложная из всех существующих для работы с большими данными. В Gartner отмечают, что организация, прежде чем к ней прийти, должна сначала внедрить у себя более простые варианты. Мы в блоке ДРП семь лет развивали BI и управление качеством данных, отработали интеграцию множества источников, конвейеры обработки данных, большое число бизнес-кейсов. И два года назад инициировали амбициозный и рискованный эксперимент со smart data lake, потому что у нас и наших бизнес-заказчиков было четкое понимание стратегических преимуществ инструментов Data Governance. Ради этих преимуществ мы потратили и продолжаем тратить большие средства на отладку совместной работы всех компонентов и методологию управления данными в smart data lake, так что наш проект окупится в более долгосрочной перспективе.

Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий. Внутри компании мы организовываем дни открытых дверей, внутренние конференции с демонстрацией решений, и мы открыты к диалогу.

После двух-трех лет практической эксплуатации озер и аналитических хранилищ данных в блоках можно ожидать появления первых общекорпоративных стандартов, а затем стандартизации на уровне компонент и методологии. В корпоративном центре «Газпром нефти» чуть более года назад появился орган, задача которого — формировать общую стратегию и общие «правила игры» в части Data Governance на уровне всей компании.

- Как будет дальше развиваться платформа данных?

На сегодня у нас все еще остается много нерешенных вопросов. Следующий год будет годом становления внутренней эффективности при разработке аналитических решений со встроенными инструментами управления данными. Один из существенных этапов такого становления — интеграция с имеющейся у нас инфраструктурой DataOps: Kubernetes/Openshift, Jenkins, Gitlab, Jira, Confluence. В результате удастся автоматизировать рабочие процессы инжиниринга данных, тестирования, выпуска релизов и в дальнейшем внедрить SLA — подход «данные как сервис» с гарантированными сроками и параметрами по типовым задачам поставки данных.

Кроме того, важными этапами в развитии культуры работы с данными станут официальное закрепление ролей владельцев данных (data owner) и распорядителей данных (data steward) в бизнес-подразделениях, а также настройка рабочих процессов управления изменениями объектов данных через единый каталог и бизнес-глоссарий.

В спортивной индустрии большие данные имеют огромный потенциал, считают в Ассоциации менеджеров. Сегодня объем рынка систем мониторинга и аналитики в спорте оценивается Forbes в 764,3 млн долл., а к 2023 году ему прочат резкое увеличение — до 15,5 млрд долл. В большом спорте, как и в большом бизнесе, цели применения технологий больших данных самые разные — от разработки игровой стратегии до увеличения продаж. Весьма интересный опыт в этой области получила за последние пару лет, к примеру, испанская футбольная LaLiga (ранее — Primera Division).

Озеро данных о фанатах

LaLiga продает права на трансляцию матчей испанских футбольных клубов и распределяет деньги между клубами. То есть детальное знание аудитории трансляций — ее хлеб. C 2017 года аналитики LaLiga применяют BI-инструменты Microsoft для персонализации и улучшения клиентского опыта — опыта фанатов. При этом используются все данные как о зарегистрированных, так и о незарегистрированных пользователях канала LaLiga, представляющего собой своего рода «спортивный Netflix», а также о пользователях мобильного приложения. Даже если пользователь не отвечает на опросы на сайте и в приложении, нужные аналитикам данные все равно получают из других источников и загружают в озеро данных. Ведь правильная сегментация болельщиков — ключ не только к таргетированной рекламе, но и новым спонсорским соглашениям.

«Доступ к информации, предоставляемой LaLiga, очень помогает небольшим клубам заключать спонсорские контракты», — сообщил Даниэль Cерехидо, руководитель развития бизнеса и стратегии LaLiga в России и Белоруссии. Еще одно пока слабо развитое, но весьма перспективное направление — сбор информации с голосовых помощников. Вся информация стекается в озеро данных, к которому применяется аналитический инструментарий. Например, зная, какого игрока любит конкретный зритель, ему будут предлагать билеты именно на матчи с его участием и расписание соответствующих турниров.

На основе собранных данных о поведении болельщиков, о туристических потоках и о погоде разработанный компанией алгоритм прогнозирует количество зрителей и оптимизирует расписание матчей, позволяя в итоге максимизировать и посещение фанатами стадионов, и число посмотревших трансляцию в разных странах мира. Практика показывает, что ошибки предсказательной аналитики совсем невелики: реальные показатели отличаются от прогнозных всего на 1% для TB аудитории и на 3,4% для посетителей стадионов.

По словам Серехидо, стратегически важным решением LaLiga было побудить пользователей мобильного приложения согласиться на активацию микрофонов в их гаджетах на время трансляции. В сочетании с данными о геопозиции это позволило обнаруживать те бары, которые вели трансляцию без оплаты соответствующего взноса, и направлять туда инспекторов. Это было весьма эффективно, хотя и не безупречно с юридической точки зрения, так что сейчас эта практика приостановлена.

Клубам нужны аналитики

Вопросы работы с данными теперь включаются в повестку саммитов баскетбольной Евролиги, хотя эта организация еще не успела далеко продвинуться на пути применения больших данных. Что касается нашей страны, то до управления спортом на основе данных еще очень далеко, учитывая уровень технологической и управленческой зрелости отрасли. Как рассказал Кирилл Лата, коммерческий директор Единой лиги ВТБ, объединяющей российские и зарубежные баскетбольные команды, в лучшем случае отечественные клубы используют большие данные для продвижения в соцсетях, а количество клубов, обладающих хотя бы простейшей CRM-системой, можно пересчитать на пальцах одной руки.

«Печально, но данные выпадают из фокуса менеджмента, это не предмет интереса, — констатировал он. — Кроме того, это чертовски дорого, а эффект, который можно получить, для людей непонятен».

По уровню управления спорт сильно отстает от других сфер бизнеса. Оценить, сколько выручки принесет тот или иной клиент, чтобы понять сколько стоит тратить на его привлечение — самая обычная практика в бизнесе, но получить такую метрику в спорте — настоящая проблема. Данные, конечно, собираются, но их качество оставляет желать лучшего, а в топовых клубах нет ни одного аналитика. И руководство, и сотрудников чаще беспокоят проблемы работы с персональными данными, и связанные с этим страхи гораздо весомее, чем понимание потенциальных преимуществ работы с данными.

Кирилл Лата: «Мы все субъективны и видим то, что хотим видеть; для объективности нам нужны данные»

Лига ВТБ предпринимает усилия, чтобы изменить эту ситуацию, создать механизм по сбору данных в общее хранилище, а в перспективе — централизовать CRM и онлайн-продажи с целью аккумулирования данных, что будет полезно всем клубам.

«Большие данные подталкивают к трансформации наших продуктов в Life Style, как это произошло с банковскими продуктами, — отметил Лата. — Мы стремимся узнать про болельщиков все, каждый их шаг, найти взаимозависимости, сравнить их с общими тенденциями и придти к эффективности продаж».

Пример двух клубов Лиги уже подтвердил высокий потенциал работы с данными: только за счет настройки рекламной компании затраты на продвижение матчей сократились с 10 до 5,5% от выручки.

Однако не очень понимая как монетизировать данные, клубы, тем не менее, не очень охотно с ними расстаются. Еще один немаловажный нюанс: постоянно бывая на стадионах, менеджеры часто пребывают в уверенности, что и так прекрасно знают своих болельщиков. «Мы все субъективны и видим то, что хотим видеть, для объективности нам нужны данные», — напомнил Лата.

Многообещающим примером работы с данными в российской спортивной индустрии служит футбольный клуб «Зенит», который помимо привычной CRM-системы первым в отрасли внедрил решение SAP Marketing и начал создавать модели поведения болельщиков и строить на их основе свои взаимоотношения с ними. Сегодня 95% билетов на матчи этого клуба продаются через сайт, где еще до регистрации пользователя определяются его личность и интересы, так что в момент регистрации его модель поведения только фиксируется, а затем дополняется открытыми данными соцсетей, чтобы сделать ему наиболее адекватное, и что немаловажно — своевременное предложение. Эффективность рекламных кампаний «Зенита» выросла на 27%, и этот проект продолжает активно развиваться.

В июле 2016 года вступил в силу закон 54-ФЗ «О применении контрольно-кассовой техники при осуществлении наличных денежных расчетов и (или) расчетов с использованием платежных карт». Компании должны использовать электронные кассы, которые передают данные о всех продажах операторам фискальных данных, а те в свою очередь — Федеральной налоговой службе. ОФД оперируют большим количеством данных из чеков. Как работают с большими данными в «Платформе ОФД», рассказал глава компании Алексей Баров.

- Что входит в задачи оператора фискальных данных?

Первоначально основными задачами были передача чеков, хранение и представление их клиентам и фискальным органам. За три года работы потребности бизнеса возросли, и к прежним обязанностям добавились новые. Они не столько регламентированы законом, сколько обусловлены коммерческой деятельностью и пожеланиями клиентов. Личный кабинет в системе – точка получения информации клиентом не только о том, как его видит налоговая служба, но и о себе, о его положении в условиях рынка. Сегодня мы предоставляем предпринимателю аналитику, которая помогает в принятии бизнес-решений.

Кроме того, мы помогаем рассчитывать налоговые платежи, в первую очередь по УСН. Таким образом, наш сервис значительно расширился: от передачи данных с касс в ФНС до помощи в принятии бизнес-решений и сервисных функций по отчетам государству.

- У «Платформы ОФД» есть несколько аналитических сервисов, основанных на использовании больших данных. Расскажите о них.

Самый востребованный – «Сравнение с рынком». Клиентам предоставляются агрегированные данные по их бизнесу и аналогичные показатели по рынку. Это дорогой, кастомизированный сервис, раньше он был доступен большим торговым сетям и производителям. Однако подобные возможности интересны и среднему, и малому бизнесу, и мы скоро сделаем их доступными в личном кабинете клиента. Скажем, владелец цветочного ларька сможет сравнить график своей выручки от продукции с графиком выручки в регионе в целом.

Другой сервис, «Аналитика по брендам», пока предоставляется по запросу клиентов, в основном он интересен производителям, которые получают возможность в реальном времени следить за тем, как их товары, особенно новинки, представлены в розничных сетях, и соотносить результаты со своими планами. Сервис дает ответы на вопросы, в какое количество торговых точек попал товар; каков объем продаж с точки; целевой это сегмент для бренда или нет. Все данные агрегированные, обезличенные и не раскрывают детальной коммерческой информации.

Третий сервис, Off Take (показатель объема продаж в торговой точке. — М.С.) предназначен для розничных сетей и предоставляет аналитику по эффективности работы торговой точки и отдельных продавцов. Ретейлер может сравнить определенный магазин с другими в регионе, например, по уровню нагрузки на продавца.

Источник: «Платформа ОФД»

У крупных ретейлеров, как правило, есть свои подобные системы, но выяснилось, что у многих они уже настолько нагружены, что добавлять инновации в них тяжело, и наш сервис становится для них удобной надстройкой. Мы даем клиентам возможность быстро реализовать многие свои задумки. Алгоритмы настраиваются для конкретной компании, но могут использоваться для других, с похожими запросами.

Еще один сервис – «Платформа Аренда». Он начинался с запроса владельцев торговых помещений информации о выручке клиента, которую может дать «третья» сторона как более объективная, для того чтобы использовать плавающую шкалу платы за аренду. У продавцов есть сезонные товары и сезонная активность, когда выручка больше или меньше и платить за аренду соответственно легче или сложнее. Применять плоскую шкалу здесь неэффективно, поэтому многие торговые центры переходят на гибкую ставку. Но арендодателю для контроля надо видеть размер выручки, и это можно сделать по чекам.

Но затем выяснилось, что спектр применения у сервиса шире. Многие стали использовать такую информацию, чтобы управлять не только своими помещениями как источником арендных платежей, но и всем продающим центром. Измерение количества покупок и других показателей позволяет вывести динамику развития, оценить эффективность маркетинговых компаний. Сейчас клиентами этого сервиса являются несколько десятков торговых центров и рынков.

- В каких отраслях востребованы такие сервисы?

Самые активные клиенты – производители фармацевтической продукции.

- С чем это связано?

Думаю, с тем, что этот рынок более регулируемый и прозрачный. Его участники меньше боятся прозрачности и меньше «закрываются» – регулятор все равно их видит. Поэтому они лучше готовы к использованию информации, которую предлагают наши сервисы, а ключевой принцип на этом рынке — «хочешь получить информацию о рынке – поделись «своей». В современном бизнесе выигрывают те, кто умеет жить в открытой среде, а не те, кто лучше всех «прячется». Мир ведет к открытости, но, безусловно, при условии соблюдения коммерческой и личной безопасности.

Вторая активная отрасль – продукты питания. Часть сегментов пока сложно поддается «обсчету». Так, в строительстве число наименований слишком велико — одних только гвоздей сколько! Но в целом, мы видим, и другие сегменты постепенно проявляют интерес.

- По вашим словам, в августе 2019 года выручка от аналитических сервисов на базе технологий больших данных составила порядка 10% общего оборота компании. Такой показатель достигнут впервые, по итогам всего 2018 года выручка от этих сервисов была мизерной. Чем объясняется такой всплеск?

Это не всплеск, а результат, иллюстрирующий динамику системного роста.

- То есть рост был в течение всего 2018 года? И продолжается сейчас?

Да.

- Каков прогноз на будущее?

Опираясь на текущие тенденции, можно рассчитывать, что к концу 2020 года общая выручка компании от аналитических сервисов составит треть.

- В связи с ростом доли в обороте компании сервисов, основанных на больших данных, что можно сказать об организации работы с данными в «Платформе ОФД»?

В компании уже год существует команда больших данных. Это подразделение включает в себя отделы ИТ, продуктов, продаж, то есть занимается не только технологиями и методологией, но и продажами. Команда растет, особенно относительно других подразделений, но работой с большими данными занимается вся компания, а в ней порядка ста сотрудников.

- Какие технологии применяются для сбора и аналитической обработки данных?

Нейросети, машинное обучение, реляционная и нереляционная СУБД. В нереляционной базе одна строка содержит все признаки продукта. С точки зрения хранилищ и долгосрочного складирования нереляционная база себя не зарекомендовала, но с точки зрения быстродействия она очень хороша. Поэтому используем обе базы – для гарантии сохранности информации и для скорости работы.

В день обрабатываем 40 млн чеков, в которых несколько строк, всего примерно 150 млн товарных позиций в чеках. Не поверите, слово «молоко» можно написать несколькими сотнями разных способов. Чтобы вычленить «молоко» из множества других слов, надо проанализировать 150 млн записей. Это возможно только с помощью новых технологий.

- Каким образом сохраняется конфиденциальность персональных данных и обеспечивается их безопасность?

Мы работаем с фискальными данными. Информация в отчетах клиентам всегда обезличена. Применяем несколько элементов защиты своей инфраструктуры: пентесты на попытки взлома, нагрузочное тестирование, резервирование мощностей (у нас три ЦОД). Убираем человеческий фактор: действует система дублированного контроля важных процессов, так чтобы не один человек всем управлял. Также используем традиционные элементы защиты, включая межсетевые экраны и антивирусы, применяем другие меры в целях сохранности и конфиденциальности данных.

- Какие партнеры есть помимо Сбербанка?

Сейчас, например, идет эксперимент по общим продуктам с Tele 2. С банками занимаемся скорингом, мониторингом выданных кредитов, эквайрингом. Договорились с рекламной платформой Segmento о развитии нового формата таргетированной рекламы с использованием агрегированных обезличенных данных кассовых чеков.

- Каковы планы по сотрудничеству со Сбербанком в области аналитики больших данных?

Работаем по вопросам ускорения и упрощения выдачи кредитов, по контролю этих процедур, чтобы сделать процессы удобнее, надежнее. Будем развивать новые банковские продукты и предлагать нашим клиентам стать клиентами Сбербанка. Также есть планы по работе с командой бонусной системы «Спасибо».

- А какие планы есть по дальнейшему развитию собственных сервисов и, может быть, расширению круга таких сервисов?

Хотим плотнее взаимодействовать с другими ОФД и покрывать еще большую долю рынка. Заняться учетом маркированной продукции. Будем помогать малому и среднему бизнесу развивать эффективность, работать с ассортиментом (куда попадают продукты, какие более популярны, какие – менее и почему). Использовать предсказательную аналитику для прогнозирования тенденций – что, где и как делать. Можем, например, советовать клиенту, на какие товары внутри категории сделать акцент. Планируем развивать бизнес-инструменты на базе обогащенных данных вместе с партнерами.

Сегодня для эффективного управления большими массивами данных необходимы сотни конвейеров данных (data pipelines) и сложная инфраструктура. В процессе генерируются тысячи наборов данных, которые «весят» терабайты и петабайты — и все это стоит десятки тысяч долларов. Но при этом многие компании не используют возможности технологий больших данных на полную мощность. Так, в ходе нашего аудита в крупной медиакомпании было выявлено, что 73% инфраструктуры данных работает вхолостую, поглощая немалую долю бюджета. Как другим не наступить на эти же «грабли»?

Куда уходят деньги

Во многих компаниях специалисты, занимающие должности, связанные с управлением, аналитикой и монетизацией больших данных, меняются достаточно часто. Чаще всего это связано с тем, что результаты их работы не соответствуют ожиданиям, изначально завышенным. Как итог, нередко возникают ситуации, когда человек уже не работает в компании, а инфраструктура продолжает создавать те отчеты по собранным данным, которые он заказывал, для которых подбирались инструменты и настраивалась аналитика.

Тот же аудит, о котором упоминалось выше, показал, что система регулярно генерирует отчет, в котором данные агрегированы по определенным критериям: устройство, с которого пользователь заходит на ресурс, страна, локальное время сеанса, конкретная страница ресурса. Одновременно выяснилось, что данные отчета никто не использовал, и более того, никто из сотрудников не смог объяснить, почему были выбраны именно эти критерии и для чего эту информацию можно использовать.

Такие ситуации не редкость. При этом работающие «вхолостую» процессы обходятся компаниям в определенную сумму. Она включает в себя:

• Затраты на создание и обслуживание инфраструктуры, включающие «человекочасы» специалистов, которые выполняют эти задачи.
• Расходы на сервера, на которых работают ETL-продукты, — от нескольких тысяч долларов в месяц.
• Расходы по хранению. Например, стоимость хранения одного петабайта данных в BigQuery (хранилище для больших данных от Google) варьируется от 10 тыс. до 20 тыс. долл. в месяц в зависимости от свежести данных.
• Оплату различных сервисов, которые генерируют данные, таких как инструменты для сбора аналитики по сайту.

Первая мысль, которая лежит на поверхности: кардинально избавиться от лишнего. То есть выключить весь неиспользуемый функционал и удалить данные, которые превратились в мертвый груз. Но это недальновидно и нерационально, особенно на фоне того, что происходит на рынке и тех объемов инвестиций, которые вкладываются в развитие технологии.

Крупный бизнес осознает ценность данных и не экономит на продуктах и решениях для их обработки. Консалтинговая компания New Vantage Partners посчитала, что за прошедшие 12 месяцев 34% компаний из списка Fortune 1000 потратили на поддержку BI и AI-инициатив от 50 млн до 500 млн долл., а 21% компаний — более 500 млн долл. При этом 92% руководителей сообщили, что планируют увеличить финансирование этих направлений.

Оптимизируйте хранение

У многих сервисов есть ограничения по срокам сбора данных. Например, сервис GAM (Google Ad Manager) дает возможность собирать данные не более чем 3-летней давности. У других сервисов период может ограничиваться несколькими месяцами. Это значит, что доступ к потенциально полезным данным будет безвозвратно утерян.

Для того, чтобы не терять такие потенциально полезные данные и при этом не переплачивать, необходимо пересмотреть подход к их хранению, используя соответствующие инструменты.

В первую очередь это ADS-решения (Archive Data Storage). У Google — это Coldline, у AWS — Glacier; «холодное» хранилище предлагает и «Яндекс.Облако». Такие хранилища позволяют долго хранить данные и обходятся относительно недорого. Но есть нюанс: концепция сервисов предполагает длительное хранение данных с платой за доступ. Плата варьируется в зависимости от операции: добавить новые данные — бесплатно; хранить данные — минимальная стоимость; чтение данных — на порядок дороже (и медленнее) по сравнению с обычными хранилищами данных.

Ценовая политика сразу дает понять, что этот сервис — своего рода архив «на всякий случай», предназначенный для ситуаций, когда частое обращение к данным не требуется. Например, если перенести 500 Тбайт редко используемых данных из BigQuery в Coldline и при этом дополнительно сжать данные до 25 Тбайт, расходы на хранение можно сократить с 5 тыс. долл. в месяц до 175 долл.

Оптимизируйте функционал

В свою очередь, отключение функционала также может помочь сэкономить кровные на инфраструктурных расходах. Однако это приведет к потере новых пока бесполезных (но потенциально полезных) данных.

Решением в этом случае может быть изменение конвейеров данных в сторону более редкого запуска и более медленного выполнения. То есть если у компании больше нет необходимости в том, чтобы получать максимально свежие данные, и чтобы процесс сбора данных выполнялся ежечасно, можно настроить и запускать его один раз в месяц, чтобы собирать информацию, которая до определенного момента будет заархивирована.

Например, данные Google Analytics 360 представляют собой достаточно объемные таблицы с множеством метрик. Представим, что на каком-то этапе работы компании по этим данным генерировалось два отчета: один включал в себя статистику по пользователям, а второй – статистику в разрезе ключевого слова источника трафика (trafficSource.keyword). Когда второй отчет по тем или иным причинам перестал использоваться, продолжающаяся обработка данных стала по сути бесполезной. В такой ситуации целесообразно отключить генерацию отчета, но продолжить накопление сырых данных.

Еще один пример: при помощи Marketing Cloud (бывш. Exact Target) проводился сбор данных по проведенным почтовым рассылкам – кому и какие письма отправлялись, сколько писем было открыто, сколько человек перешло по ссылке в письме и т.д. В какой-то момент эти данные перестали активно использоваться, но это не означает, что они не понадобятся в будущем. А из-за объема и особенностей платформы Marketing Cloud одновременно «вытащить» данные за период более чем полгода — проблематично. Поэтому рациональным решением будет продолжить их накапливать в собственном хранилище в удобной форме и собирать их не ежечасно, а раз в неделю, в тот период, когда другие ETL-процессы минимально нагружают инфраструктуру.

***

Любые рекомендации работают, если вы понимаете, чего хотите. Так и локальные технические решения, направленные на сокращение расходов, должны быть элементами общей стратегии управления данными, а иначе это будет оптимизация ради оптимизации и очередные деньги, выброшенные на ветер.

Автор — Константин Попандопуло, технический директор компании Umbrella IT