Являетесь ли вы ИТ-директором или бизнес-руководителем и испытываете проблемы с продвижением нового или существующего цифрового бизнес-проекта, для достижения успехов вам следует взломать свою устоявшуюся корпоративную культуру.

«Цифровой бизнес ускоряется, затрудняя предприятиям и госструктурам привычные способы ведения дел, – указал исполнительный вице-президент и глава направления исследований Gartner Майк Харрис на открытии ежегодной конференции Symposium/IT Expo, посвященной основным технологическим тенденциям и собравшей в этом году более 9 тыс. ИТ-руководителей и специалистов. – Эти новые модели переопределяют способы, которыми организации создают, доставляют и фиксируют ценности. Они бросают вызов привычной практике работы ИТ-директора, привнося в ИТ новые настроения и новые методы».

Изменение менталитета – ключевой двигатель новых технологий и один из способов, которые в Gartner рекомендуют руководителям ИТ-служб для изменения культуры своих компаний.

«Взломайте свою культуру, для того чтобы изменить ее, – советует вице-президент Gartner по исследованиям Кристин Мойер. – Под взломом культуры мы понимаем вовсе не поиск уязвимых мест для проникновения в систему, а исключение уязвимостей в культуре с последующим внедрением реальных долгосрочных изменений».

«Взлом» заключается обычно в осуществлении небольших, но важных шагов, которые чаще всего упускаются из виду. Часто такая тактика провоцирует эмоциональную реакцию и способствует мгновенному получению результатов, которые становятся видны сразу множеству людей.

В Gartner отмечают, что 46% ИТ-директоров считают культуру главным барьером на пути к получению выгод от цифрового бизнеса.

Достижение изменений в культуре неразрывно связано с другим ключевым направлением, к которому должны стремиться организации – способностью принимать изменения и технологию по-новому, как говорят в Gartner, с «динамизмом».

По словам Харриса, независимо от того, является ли модель управления бизнесом свободной или контролируемой, главным фактором успеха остается динамизм, но более трех четвертей организаций еще не готовы к этому. Решающее значение будет иметь отношение предприятий к возникающим технологическим вопросам и динамизму.

Четыре стратегии достижения цифрового успеха

Аналитики Gartner отмечают ряд тенденций, на которые руководителям ИТ-служб необходимо обратить внимание для достижения их организациями успеха в ближайшем будущем.

• Конфиденциальность. Если ИТ-директор не в состоянии управлять конфиденциальностью, вся цифровая трансформация подвергается риску в полном объеме. Конфиденциальность все чаще порождает доверие, а доверие – это могучая сила. «Будучи ИТ-директором, вы обладаете мандатом на обеспечение защиты конфиденциальных данных потребителей, граждан и сотрудников, – подчеркнул Харрис. – Обычно это предполагает назначение ответственного за программу управления конфиденциальностью, обнаружение брешей и оперативное информирование об их наличии, а также обеспечение контроля пользователями за своими данными. Этот вопрос решается на уровне совета директоров, но пока едва ли половина организации обеспечивает адекватный контроль на местах».

• «Дополненный» интеллект. Речь идет об использовании искусственного интеллекта для расширения функционала работников. Размещение работников в непосредственной близости от систем искусственного интеллекта, процессов и роботов позволяет усилить влияние тех или иных специальностей. По оценкам Gartner, к 2021 году экспертные системы будут отвечать на вопросы лучше человека. Однако искусственный интеллект не заменит людей, а будет лишь дополнять их.

• Управление цифровыми продуктами. Что касается восприятия цифровых продуктов, организации все чаще ставят клиентов в центр разработки. Вице-президент Gartner по исследованиям Марк Раскино привел примеры организаций, которые уже совершили этот переход: у Chase Bank имеется менеджер по цифровым продуктам для платежного приложения Chase. В McDonald's введена должность менеджера по цифровым продуктам для ресторанных киосков и мобильных приложений. А для приложения Transport for London менеджеры по цифровым продуктам вводятся для транспортных приложений, ботов и API, которые используются как персоналом, так и клиентами.

• Цифровые двойники. Речь идет о виртуальных копиях физических объектов, которые используют для имитационного моделирования перед установкой реальных устройств и систем. Бизнес мог бы создать и цифрового двойника для своей организации, так называемого DTO (digital twin of their organization). «С его помощью ИТ-директор увидит, как работают люди, а также системы и процессы, с которыми они связаны, и как задания перемещаются в организациях из одного подразделения в другое», – отметила вице-президент Gartner по исследованиям Хелен Хантли.

Очередная встреча клуба ИТ-директоров Ventra Lab (некоммерческий просветительский проект компании Ventra) была посвящена использованию машинного обучения и искусственного интеллекта в клиентском сервисе и поддержке.

Александр Огнивцев, руководитель управления сервисной поддержки компании «Альфастрахование», рассказал, что в службе поддержки департамента информационных технологий несколько лет назад была сделана ставка на омниканальность: пользователи корпоративных приложений получили возможность обратиться со своими проблемами любым удобным им способом. Однако при этом сразу возникла проблема эффективной обработки неструктурированной информации в обращениях. Из возможных вариантов – нанимать специалистов или автоматизировать процесс с помощью алгоритмов машинного обучения – в «Альфастраховании» выбрали автоматизацию.

Облачный сервис искусственного интеллекта, интегрированный с корпоративной платформой Service Desk, выполняет классификацию обращений, обучившись на обширной базе знаний, сформированной с помощью каталога ИТ-услуг, и большом объеме реальных обращений клиентов, которые собирались в течение четырех лет. По словам Огнивцева, в 85% случаев робот обеспечивает правильную классификацию обращений (а для критичных для бизнеса ИТ-сервисов этот показатель превышает 95%), затраты на обработку обращений сократились вдвое-втрое. Чтобы эффективность сервиса не снижалась, его регулярно, раз в квартал, переобучают на новых данных.

Следующим шагом в использовании искусственного интеллекта в ИТ-поддержке «Альфастрахования» будет внедрение чатбота для пользователей и голосовых суфлеров для операторов контакт-центра. Обучить последних, отметил Огнивцев, задача не из простых, потому что они должны будут выдавать рекомендации, грамотные с технической точки зрения и при этом понятные людям и полезные специалистам. Сейчас в компании ведется работа по созданию соответствующей обучающей базы.

«Главное, что мы вынесли из внедрения инструментов искусственного интеллекта, — они должны быть умными, опираться на сильную математику. Только в этом случае от них можно ждать ощутимого экономического эффекта», – резюмировал Александр Огнивцев.

Чтобы быть умным, искусственному интеллекту нужны данные, считает Олег Седелев, директор проектов управления инфраструктуры и больших данных корпоративно-инвестиционного блока Сбербанка. КИБ работает с примерно 2,5 млн клиентами – от компаний малого бизнеса до крупнейших корпораций, и не менее 10% прибыли блока связано с аналитикой данных.

Примером клиентского сервиса, построенного на сложной аналитике и приносящего банку реальный доход, может служить проект «Кредит за 7 минут». Корпоративные клиенты Сбербанка получили возможность выбирать, получать одобрение и оформлять крупные кредиты в интернет-банке менее чем за 7 минут, хотя раньше на этот процесс могло уходить до двух недель. За простотой и удобством новой услуги стоит мощная система еженедельного анализа всей доступной информации по всем клиентам из среднего и крупного бизнеса.

Обработка нескольких тысяч атрибутов по каждому клиенту позволяет заранее сформировать его скоринговый балл и сформулировать возможные кредитные предложения. Когда клиент делает онлайн-запрос, система оперативно проводит минимально необходимый дополнительный скоринг, и на основании всех этих данных принимается решение об одобрении кредита. По словам Седелева, это первый в России и один из первых в мире примеров кредитного сервиса, оперирующего столь крупными суммами в режиме онлайн.

Олег Седелев: «Ценность для клиентов несут только те решения в области искусственного интеллекта, которые в состоянии давать осмысленные ответы на сложные запросы»

Седелев рассказал также о многоуровневой системе когнитивных сервисов поддержки корпоративных клиентов банка. На самом ее верху – уровень предсказательной аналитики, основанный на максимально полном знании клиента. Эти сервисы работают в упреждающем режиме – решают проблемы клиента до того, как у него возникнет потребность обратиться за помощью.

Если помощь все-таки необходима, в дело вступает когнитивный сервис маршрутизации – он распознает тему обращения и направляет клиента к оператору или роботу. На часть вопросов может дать ответ голосовой помощник «Анна» или чатбот. Но если задача не может быть решена без вмешательства человека, ему на помощь также приходит искусственный интеллект. Виртуальные ассистенты операторов колл-центра дают варианты решения проблемы, а выбор релевантного остается за человеком.

Седелев подчеркнул, что ценность для клиентов и, соответственно, для бизнеса банка несут только те решения в области искусственного интеллекта, которые в состоянии давать осмысленные ответы на сложные запросы, связанные с персональными данными, например, о статусе корпоративной карты или состоянии счета. А для этого роботам необходима связь с хранилищем данных и сложными аналитическими алгоритмами. Именно поэтому система когнитивных сервисов Сбербанка, как и решение «Кредит за 7 минут», интегрирована с кластером Hadoop, обеспечивающем хранение и обработку петабайт данных.

Компании тратят на аналитику очень много, приобретая самые разнообразные решения, и сложившуюся ситуацию многие описывают как гонку аналитических вооружений. Однако практика показывает, что эффект пока маловат. Нельзя сказать, что мир радикально изменился, компании стали больше зарабатывать, а клиенты – получать качественный сервис. И естественным образом возникает вопрос, поднятый на Teradata Форум 2018: туда ли движется рынок аналитических решений?

«В цифровой экономике данные стали активом: компании так же от них зависят, как и от наличия остальных ресурсов. Однако насколько эффективно используются данные в реальности?», — задал вопрос Андрей Алексеенко, генеральный директор Teradata в России. Исследование, недавно опубликованное Teradata, показывает, что компании явно остаются недовольными: инвестиции в аналитику далеко не всегда приводят к получению необходимых ответов на вопросы бизнеса. Более того, 74% руководителей говорят, что аналитические решения слишком сложны, и они не могут ими пользоваться.

Получается, что приобретаемая «аналитика» не способна удовлетворить потребность компаний в информации. У сотрудников компаний существуют свои предпочтения, у них различные потребности и возникающие вопросы, они используют то, что есть у них под рукой. Руководители, в свою очередь, поддерживают общее мнение о том, что ни один аналитический продукт не является совершенным. Как следствие, у компаний возникает масса лоскутных решений, именно рост их числа и приводит к процветанию рынка аналитических систем.

«С этим надо заканчивать, пора прекратить кормить этого вечноголодного монстра», — резюмировал Алексеенко. В Teradata продвигают подход Pervasive Data Intelligence реализованный в платформе Vantage, и обещают, что именно он позволит наконец докопаться до ответов.

«Для нас данные давно стали ценнейшим активом, мы верим в то, что данные клиентов – наше стратегическое преимущество», — заявил Кен Дрейк, старший директор по защите данных Blizzard Entertainment. Дрейк знает, о чем говорит: у Blizzard 25 млн клиентов, и ежедневно компания обрабатывает 16,5 млрд событий, объем которых составляет 750 Тбайт.

Как подчеркнул Дрейк, все люди разные, и поэтому не стоит относиться к ним одинаково. Компаниям необходимо понимать своих клиентов, их мотивацию и происходящие у них изменения. Аналитика сама по себе не имеет ценности: мало констатировать факты, она должна влиять на бизнес-результат, изменять исход ситуации.

Стивен Бробст, технический директор Teradata, выделяет два принципиально разных направления: «атакующую» (offensive) и «оборонительную» (defensive) аналитику. Они подразумевают различные типы стратегии компании – атаку на конкурентов и рост бизнеса или избежание ненужных потерь и соответствие требованиям регуляторов. Как следствие, требуется совершенно разная стратегия управления данными, и это становится ключевой задачей директоров по данным.

Атакующий стиль подразумевает фокус на гибкости: быстрота принятия решений, инновации для увеличения прибыли. Типичные цели в этом случае – рост выручки, повышение лояльности, управление кампаниями, приобретение клиентов. Защитный вариант предполагает максимальный контроль: избегание необязательных рисков, управление издержками. В этом случае среди целей чаще всего встречаются соответствие регуляторным требованиям, выявление мошенничества, защита данных и удержание клиентов. Разнятся и ключевые заинтересованные лица. Если в первом случае это директора по маркетингу и продажам, то во втором – финансовый директор и директор по безопасности.

Как и в любом спорте, нужен баланс защиты и нападения, чтобы действительно быть успешными. И у большинства компаний-лидеров появляются гибридные аналитические стратегии, которых в Teradata называют бимодальными BI.

Леонид Ткаченко: «Мы создали модель, которая может автоматически в любую секунду рассчитать лояльность каждого из 60 млн абонентов с точностью 70-80%»

Леонид Ткаченко, директор департамента Big Data компании МТС, по собственному признанию, об атакующих и защитных аналитических конструкциях не задумывался. Однако это не помешало его департаменту за три года существования достичь чистого экономического эффекта на сумму 3,5 млрд руб. Ткаченко поделился несколькими наиболее показательными проектами, позволившими показать, что умелое использование данных действительно способно на многое. Одним из них стало выделение на основе поведения абонентов «критиков», недовольных каким-либо аспектом обслуживания, с последующей их конвертацией в лояльных клиентов. Еще одним интересным проектом стало психотипирование клиентской базы и интеграция полученной модели во все каналы обслуживания. Третьим примером является повышение продаж недавно приобретенных порталов Ticketland и «Пономиналу». В МТС прекрасно знают, кто и какие мероприятия посещал, и способны делать персональные предложения, имеющие огромные показатели отклика.

Как согласились большинство выступавших, в успехе компаний все сильнее растет роль исследователей данных (data scientist). Между тем, далеко не каждый из них — «настоящий», хотя сейчас в ИТ-отрасли очень много людей, так себя называющих. Компаниям, претендующим на лидерство, приходится больше остальных инвестировать в свое будущее, уделяя огромное внимание привлечению и удержанию нужных экспертов.

В Москве прошла конференция «Технологии машинного обучения 2018. Искусственный интеллект и нейросети: инструменты и опыт реальных проектов». Поток «Роботизация» был представлен шестью докладами – от сугубо технической тематики до области юриспруденции, а сами роботы — от программных до монстров с ручищами-манипуляторами.

Леонид Жуков из компании Boston Consulting Group не только сделал обзор рынка, но и поделился историей промахов аналитиков-футурологов, чьи предсказания обычно грешат недооценкой. В 2017 году в BCG уже пересмотрели свой прогноз рынка робототехники на 2025 год – теперь аналитики рассчитывают на его объем почти в 87 млрд долл., но видимо, и этот прогноз будет превышен. Пока же рынок роботов потребительского сектора – 23 млрд долл., коммерческих – 22,8 млрд, промышленных – 24,4 млрд и военных – 16,5 млрд. Индустриальные роботы уже умеют аккуратно перетаскивать стекла и распознают образы, но им придется «умнеть» дальше – настала пора самообучаться, передавать друг другу приобретенный опыт и сбрасывать его в облако. Им предстоит совершенствоваться, чтобы безопасно работать рядом с человеком. Пока же их чаще можно встретить в автомобильных цехах без света – самыми перспективными областями по-прежнему считаются автомобильная промышленность и электроника. Что касается угрозы повсеместной замены людей роботами, то докладчик привел пример: трудно сейчас роботу-мяснику, слишком много не формализованных параметров надо учесть, прежде чем взмахнуть «топором». Поэтому в ближайшие годы безработица мясникам не грозит. Но и расслабляться им не стоит, поскольку технологии искусственного интеллекта развиваются очень стремительно.

Интернет животных

Пожалуй, самый яркий доклад в этом потоке сделала представлявшая «Русагро» Таня Милек. К удивлению многих слушателей конференции, уже сейчас роботизация стала важной частью проектов в сельском хозяйстве. Благо российские аграрии получают государственную поддержку по президентскому указу, предписывающему «создание и внедрение до 2026 года конкурентоспособных отечественных агротехнологий». В примерах из практики «Русагро» фигурировали и распознавание животных, и автоматическая обработка показаний датчиков температуры и других атрибутов интернета полей, интернет сельскохозяйственных животных. Сервисы с привлечением беспилотников построены в «Русагро» на основе собственных разработок, и эти летательные аппараты способны проводить инвентаризацию земель, анализировать рельеф (находить эрозии и водотоки), помогать эффективно использовать удобрения. Дрон оснащен датчиками для мониторинга полей (так называемого агроскаутинга) и работает автономно, сам приземляется, пользуясь машинным зрением, и подзаряжается. Информационная платформа для точного земледелия так и называется – Exact Farming, а единица контроля в ней – конкретное поле. Платформа создана для того чтобы по конкретным полям обеспечить: контроль используемых технологий; учет прогноза погоды и мониторинг вегетации; контроль себестоимости; мониторинг транспорта.

Печати на документах

Сергей Юдовский (ЦРИИ) рассказал о роботизации на платформе UiPath и TensorFlow. Доклад был сфокусирован на актуальном проекте, в ходе которого роботизированные системы помогают разбирать бухгалтерскую документацию некоторой группы компаний строительных сервисов. Требуется сверять табличную часть CRM с приложенными к ней PDF-образами актов. В том числе, необходим поиск в документе реквизитов и печатей, распознаваемых средствами машинного обучения, что существенно разгружает бухгалтеров. При этом очень важно думать не только о том, как сделать, чтобы все работало, но и предусмотреть, что предпринять, если робот ошибется.

Этика роботов и их права

Доклад Виктора Наумова из компании Dentons был посвящен юридическим аспектам роботизации и содержал основные выводы исследования «Развитие законодательства о робототехнике и киберфизических системах», которое компания провела в 2018 году. Основные выводы исследования таковы: в ближайшей перспективе приоритет в регулировании должен отдаваться мерам, стимулирующим развитие робототехники и искусственного интеллекта по сравнению с мерами, направленными на регламентацию; по возможности следует избегать необоснованного регулирования отрасли; нет необходимости в кардинальном изменении действующих правовых институтов; отрасль остро нуждается в комплексном документе стратегического планирования, аналоги которого уже имеются во всех ведущих странах. Следует изучать опыт таких стран, как Южная Корея, Япония, Китай, Франция и Великобритания, далеко продвинувшихся в области роботизаци.

Экзоскелеты уже в «Сбербанке»

Ожидалось, что в докладе Альберта Ефимова, возглавляющего центр робототехники «Сбербанка», будет рассказываться о роботизированном ПО, выдающем финансовые отчеты. Однако речь шла о настоящих больших и сильных роботах, в буквальном смысле облегчающих жизнь сотрудникам, вынужденным ежедневно перемещать тонны купюр. В докладе были представлены изящные экзоскелеты, физически поддерживающие работников банка. Ефимов резюмировал свой доклад афоризмом: «Если банк не думает о своих роботах, чужие роботы думают о банке».

Нейронные сети тестируют железо

Завершая блок докладов секции, Андрей Устюжанин («Яндекс», НИУ ВШЭ) рассказал о цифровых двойниках. По сути, «цифровый двойник» — это лишь модный термин, обозначающий хорошо знакомое компьютерное моделирование, в докладе же речь шла в основном о конкретном адаптивном тестировании системы хранения данных. С помощью методов машинного обучения требовалось создать и настроить алгоритмы диагностики состояния и предсказания сбоев системы хранения. В реальной жизни сложно накопить выборку для обучения, и разработчики создали интеллектуальный блок имитации, использующий глубинные нейронные сети и обучение с подкреплением, что позволило повысить качество алгоритмов диагностики оборудования и точнее предсказывать сбои.

Изначально система анализа машинных данных компании Splunk позиционировалась как средство обеспечения ИТ-безопасности. По мере расширения ее возможностей она стала использоваться и в других областях, например, для предсказания и обнаружения проблем с ИТ-инфраструктурой и приложениями. Одним из пионеров в этом направлении стало российское подразделение компании Mars. Накануне практической конференции «Технологии управления данными 2018», которую издательство «Открытые системы» проведет 29 ноября, Ольга Налгранян, специалист отдела автоматизации и анализа данных Mars, рассказала Computerworld Россия об опыте применения системы анализа машинных данных в новых сферах и о том, что можно было бы сделать по-другому.

- Почему вы решили использовать Splunk в новой роли?

Это обусловлено возможностями решения. Оно позволяет анализировать любые машинные данные в их исходном виде, создавать на их основе дашборды, отслеживать и анализировать происходящее в ИТ-системе компании. У него также гибкая система разделения прав на доступ к данным: какими-то могут оперировать все, другими — скажем, персональными данными — только уполномоченные на это люди. Еще одна особенность продукта — он дает возможность анализировать данные в реальном времени. Кроме того, система обладает большой библиотекой средств машинного обучения, благодаря которым можно создавать новые модели и обучать средства анализа данных.

- В Mars уже был опыт работы со этим ПО?

Да, облачная версия, которая используется глобальным отделом безопасности с 2014 года. Но мы в IT Operations, отделе управления инфраструктурой, видели ее огромные возможности и для себя, и для бизнеса. И в 2016 году по согласованию с «безопасниками» подключились в Splunk и стали его использовать.

Они от этого тоже выиграли: у Splunk стало больше источников данных, а значит, появилось больше разнообразной информации для анализа.

Мы же получили возможность мониторить все происходящее в ИТ-системе на уровне инфраструктуры и приложений и выводить результаты анализа на дашборды, настраиваемые информационные панели.

- Насколько гладко происходил перенос функциональности на новые сферы?

Конечно, были проблемы, связанные и с особенностями продукта, и с особенностями нашего бизнеса.

Основная сложность заключалась в том, чтобы «научить» работать с системой анализа машинных данных приложения, которые не поддерживаются ее стандартными средствами.

У любой большой компании с длинной историей есть свои системы сбора и анализа, какие-то самописные, какие-то просто уже не поддерживаются их разработчиками, но отказаться от них нельзя. Пережиток прошлого века, можно сказать. Мы в этом отношении не уникальны. И данные из «систем XX века» сделать полностью пригодными для систем XXI века оказалось нелегко.

Также пришлось поработать над разграничением доступа к данным. С одной стороны, Splunk дает много информации, опираясь на которую уже второй уровень поддержки способен понимать, что случилось с тем или иным элементом инфраструктуры или приложением, и решать проблемы до того, как придется задействовать экспертные центры. С другой — к «чувствительным» данным, например к персональным, доступ надо давать не всем. Splunk позволяет настроить гибкую систему ролей, однако, для того чтобы ею воспользоваться, надо провести тщательный анализ, создать «матрицу данных», определить, какие из них можно предоставлять всем, какие — нет.

Это особенно важно компаниям, которые растут быстро и стихийно, например стартапам. В них часто попросту нет «главного по данным», который может определить, кому что должно быть доступно.

Еще одна проблема в том, что если все начинают писать запросы к аналитической системе, то какое бы мощное облако у вас ни было, какой бы широкий канал ни соединял с ним, система начнет подтормаживать. И тут необходимо решить, что важнее — мониторинг или анализ.

Мы решили, что для нас важнее мониторинг, а ресурсы для анализа предоставляются во вторую очередь.

При этом не все пользователи достаточно хорошо знают внутренний язык системы, и поэтому их разработки могут создавать проблемы с производительностью Splunk. Для решения этой проблемы в начале прошлого года мы начали процесс создания экспертного центра, подключили партнера. Его сотрудники помогают нам отслеживать плохо написанные дашборды и улучшать их. Таким образом, мы оставляем за бизнес-пользователями право создавать себе средства аналитики, ведь кто как не они эксперты в своей функциональной области, а технические специалисты поддерживают эффективность работы системы в целом.

- К каким улучшениям привел проект?

Главное то, что мы смогли сократить время реакции на инциденты до нескольких минут и снизить количество критических инцидентов, которые возникают с этими системами.

Если раньше сотрудники, отвечающие за работу инфраструктуры и приложений, замечали, что что-то случилось, то, чтобы разобраться в происходящем, им приходилось обращаться в разные экспертные центры, потому что у них не было необходимого уровня доступа к этим приложениям.

Сейчас они видят все, что происходит в приложении, и сразу понимают, в чем проблема и чем она вызвана.

Мы отслеживаем аномальное поведение приложений и инфраструктуры и теперь можем не просто анализировать сбои постфактум, а также использовать собранные данные для того, чтобы учить системы предугадывать сбои. Это позволяет нам реагировать проактивно, до того, как что-то действительно произошло в системе. При этом более эффективные средства мониторинга позволили сократить количество людей, занятых на данной операции, и использовать освободившихся сотрудников для решения других задач.

Еще одно достоинство продукта — наличие средств выявления неавторизованных изменений. В больших распределенных корпорациях нередко несколько отделов работают одновременно над одними и теми же приложениями. Бывает, что не все изменения своевременно отслеживаются, и порой это приводит к большим проблемам. Splunk позволяет создать дашборды, с помощью которых можно видеть все отклонения в поведении систем.

Это, наверное, самое важное, что мы получили от внедрения. Но если бы я делала все сначала, я какие-то вещи сделала бы по-другому.

- Например?

В первую очередь мы бы сразу обратились к партнерам и возложили на них текущую поддержку системы, а сами бы работали над стратегией и внедрением новых возможностей.

Кроме того, при наличии ресурсов, я создала бы команду, которая сфокусировалась бы на изучении и внедрении лучших практик в конкретной области. И привлекла бы специалистов по машинному обучению.

Мы могли бы более разумно распределить нагрузку по этапам. Мы же делали все сразу — и подключали новые источники данных, и новых пользователей, и создавали новые дашборды. При том, что нас было всего трое.

Сейчас мы все делали бы с большим пониманием того, для чего добавляются новые источники данных и новые дашборды, что мы получим от каждого такого действия. И, конечно, надо было сразу документировать все наши шаги.

Но тогда мы были очень увлечены процессом создания. Ведь мы были пионерами, даже в мировом масштабе, попробовали применить Splunk за пределами сферы безопасности, мы не могли опираться на чей-либо опыт, набили все возможные шишки в этом процессе.

Например, сначала мы интегрировали ITSM-решение ServiceNow с помощью стандартных возможностей Splunk. Но, когда систему начали использовать для работы с ИТ-инфраструктурой, стало понятно, что ее недостаточно. И мы создали свою собственную. Если бы сразу пошли по этому пути, сэкономили бы время и силы.

- Традиционный вопрос — о чем вы хотите рассказать на конференции?

В первую очередь о том, что какой бы у вас ни был великолепный инструмент, его возможности не раскроются, если вы не готовы в него инвестировать, причем речь не только о деньгах. О том, что внедрение покажет вам достоинства и недостатки ваших методов работы с данными, вашей организационной структуры, ваших подходов к бизнесу. Выбирая систему и внедряя ее, вы получите важные уроки. И только работа над этими уроками позволит вам действительно получить выгоду от внедрения.

- А о чем вы сами хотите услышать на ней?

Мне интересно узнать о работе других компаний, с другими системами. Я хочу посмотреть, как другие корпорации получают выгоду от внедрения различных средств, сравнить время и силы, которые они тратят на это внедрение, с тем, какую пользу они получают на выходе.

В ходе практической конференции «Технологии машинного обучения», проведенной издательством «Открытые системы» (см. «Искусственный интеллект пришел в бизнес», Computerworld Россия, 12 октября 2018), аналитическое агентство OSP Data провело анкетирование участников. Нас интересовала степень вовлеченности их компаний в проекты по внедрению средств искусственного интеллекта, их направленность, планы по развитию.

Как всегда были активны представители ИТ-компаний и финансовые структуры. Однако почти половина участников опроса представляли реальный сектор — промышленность, строительство, сельское хозяйство.

Поскольку семинар был практическим, то начальства наиболее высокого уровня (владельцы, топ-менеджмент) среди респондентов было менее 10%. Основную массу составили руководители среднего уровня (функциональных подразделений и проектов, команд разработки) и собственно разработчики, преимущественно старшего звена (ведущие специалисты, архитекторы).

Почти у трети респондентов уже внедрены системы (31%), использующие искусственный интеллект. В остальных ведется изучение вопроса. Самое популярные направления (или будущего применения) — прогнозная аналитика, управление процессами в реальном времени и работа с клиентами (текущее обслуживание, изучение предпочтений).

Наибольший интерес вызвали обработка больших данных и практические примеры успешного применения средств машинного обучения, особенно ценные для тех, кто только раздумывает над включением систем искусственного интеллекта в корпоративный ландшафт. Да и обладателям действующих решений полезно узнать о чужих пробах, ошибках и достижениях.

Что касается проблем с внедрением решений в области искусственного интеллекта, то самыми главными признаны организационно-кадровые (отсутствие инициатив со стороны топ-менеджмента, недостаток специалистов), их назвали 46%. На отсутствие подходящих решений указали 23%, еще 15% — на финансовые (недостаток средств, невозможность обосновать выгоду от внедрения).

До 40% промышленных объектов имеют хотя бы одно подключение к общедоступному Интернету

Отсутствие подключения критически важных систем остается эффективным способом снижения вероятности атаки. Отсутствие связи с Интернетом означает, что для выполнения необходимых им операций инициаторы атак должны находиться непосредственно на объекте. Однако многие компании не обеспечивают такой изоляции. Более трети промышленных объектов имеют по крайней мере один канал связи с Интернетом. Поисковые инструменты (например, Shodan) упрощают обнаружение устройств, не обладающих надежной защитой и позволяющих атакующим легко вторгаться в промышленные сети. А для того чтобы проникнуть в систему, вполне достаточно и одного канала.

По крайней мере одну беспроводную точку доступа имеют 16% объектов, а у 84% есть хотя бы одно устройство, к которому можно обращаться удаленно. И то, и другое является дополнительной лазейкой для проникновения атакующих.

На 53% объектов установлены устаревшие версии Windows

У промышленных объектов зачастую имеются встроенные системы, обновлять которые достаточно сложно, не говоря уже о том, чтобы сменить установленную там операционную систему. Устаревшие и уже неподдерживаемые версии Windows не содержат исправлений для новых уязвимостей, формирующих в системе безопасности значительные пробелы. Более половины промышленных объектов, мониторинг которых осуществляет CyberX (наиболее широко используемая платформа защиты АСУ ТП и систем Интернета вещей. — Прим. ред.), имеют устаревшие и неподдерживаемые версии Windows.

Поддержка Windows Vista истекла в 2017 году, XP – в 2014-м. Жизненный цикл Windows 8 подошел к концу в 2016 году (у 8.1 еще осталось немного времени), а Windows 7 будет списана со счетов в 2020-м. Хотя компании и могут получить от Microsoft расширенную поддержку, стоит это дорого и представляется всего лишь временным решением.

В 69% сетях промышленных систем используются незашифрованные пароли

Незашифрованные пароли с незапамятных времен считались плохой идеей. Перехватив их, любой желающий может изучить вашу сеть и получить легкий доступ ко всему, что представляет для него интерес, независимо от выстроенных вами прочих оборонительных редутов. К сожалению, это так ничему и не научило сотрудников промышленных предприятий, допускающих все те же простейшие и роковые ошибки. Незашифрованные пароли были обнаружены CyberX в 69% сетей промышленных систем управления.

«Обычно они связаны с унаследованными устройствами, которые не поддерживают современные безопасные протоколы, такие как SNMP v3 или SFTP», – говорится в отчете.

57% объектов не имеют систем антивирусной защиты с автоматическим обновлением сигнатур

В первой половине 2018 года «Лаборатория Касперского» выявила 19 тыс. разновидностей вредоносных программ, относящихся к 2800 различным семействам. С учетом продолжающегося появления все новых и новых вредоносных программ автоматическое обновление сигнатур приобретает все более важную роль в организации антивирусной защиты. Но более половины сетей систем промышленного управления не имеют автоматически обновляемых антивирусных систем, что упрощает задачу атакующим.

Безопасность АСУ ТП стагнирует

Промышленные системы сегодня действительно небезопасны, но еще сильнее беспокоит отсутствие какого-либо прогресса в этой области. «За прошедший год в отрасли мало что изменилось», – говорится в отчете CyberX. Единственное, где по сравнению с прошлогодним исследованием произошли существенные изменения – это уменьшение числа объектов с унаследованными системами Windows. Их доля сократилась с 76% в 2017 году до 53% в 2018-м.

«Здесь предстоит проделать еще очень много работы, – говорится в отчете. – Но следует помнить, что мы пытаемся ликвидировать приблизительно 25-летний разрыв между операционными технологиями и практиками ИТ-безопасности».

Старые операционные протоколы затрудняют мониторинг

Зачастую промышленным системам уже немало лет. Поскольку вносить в них коррективы слишком сложно и дорого, на протяжении многих лет они сохраняются в неизменном виде. Исследование CyberX показало, что чаще всего на промышленных предприятиях используется Modbus, протокол последовательной связи, впервые опубликованный компанией Modicon (ныне Schneider Electric) в 1979 году.

Это создает дополнительные трудности для мониторинга, поскольку традиционные инструменты, проектировавшиеся для корпоративных ИТ-сетей, не видят протоколов наподобие Modbus TCP, а значит, организации не знают, что делается в их сети. Опрос, проведенный «Лабораторией Касперского», показал, что у почти половины предприятий нет инструментов для выявления атак на их устройства промышленных систем управления.

Шесть первоочередных шагов по повышению защищенности промышленных систем

Выделите наиболее важные процессы. Подумайте, сбой каких процессов несет в себе наибольшую угрозу для предприятия и сконцентрируйтесь в первую очередь на обеспечении их безопасности.

Составьте схему своей сети. Для правильной защиты вам нужно знать, что вы защищаете. Соберите информацию обо всех компонентах промышленной системы управления (модель, тип, операционная система, версия прошивки и т.д.), об их соединениях, о перемещении информации в сети и о том, как осуществляется внутреннее и внешнее подключение к этим компонентам.

Найдите маршруты, с наибольшей вероятностью подверженные атаке. Тестирование на проникновение и моделирование угроз способны помочь определить вероятные способы проникновения злоумышленников в сеть и компрометации устройств. Эта информация может быть использована для реализации мер по смягчению последствий и тщательного мониторинга непосредственно на месте.

Составьте и соблюдайте правила кибергигиены. Сократите число соединений с Интернетом, введите двухфакторную аутентификацию, не используйте незашифрованные пароли, регулярно устанавливайте обновления и не позволяйте неавторизованным внешним устройствам подключаться к сети промышленной системы управления.

Установите расписание управляемого обновления ОС. Обновление промышленных систем представляет собой нелегкую, но очень важную задачу, решение которой позволит сузить простор для атак. Планируйте и устанавливайте обновления таким образом, чтобы ваша команда могла справиться с этим. Отделяйте все системы, не поддающиеся замене или обновлению, и внимательно следите за ними.

Устраните разобщенность между операционными и информационными технологиями. Вовлекайте операционный персонал в работу центра управления безопасностью (security operations center, SOC) и позвольте специалистам по ИТ-безопасности участвовать в деятельности операционных подразделений, обмениваясь знаниями и опытом и формируя лучшее понимание уникальных требований к безопасности подобных систем.

«Наши решения призваны помочь пользователям получить ответ на любой вопрос, обеспечив поиск в массивах любых машинных данных», — заявил, открывая Discovery Day 2018, Нордин Амшун, вице-президент компании Splunk в странах Европы, Ближнего Востока и Африки. Действительно, данные – основа цифрового предприятия, и от того, как будет организована работа с ними, зависит сегодня не только успех бизнеса, но и само его существование.

Продукты и решения Splunk направлены на создание и поддержку инфраструктуры, предоставляющей пользователям возможность получать ответы на заранее неизвестные вопросы в пуле данных, поступающих в реальном времени, причем масштабы данных также заранее не определены. Такие продукты и сервисы, как Data Stream Processor, Data Fabric Search, Bussiness Flow, Natural Language, Insights for Web and Mobile Apps и другие, включая решения от недавно приобретенной компании VictorOps, позволяют обнаружить корреляции, например, корреляции в разных каналах коммуникаций (телефонный звонок, обращение по почте, чату или через социальную сеть), по которым клиент общается с провайдером. Одна из целей Splunk – создание простых и понятных витрин данных, который служат единой точкой входа в пул корпоративных данных теоретически неограниченного объема. Так, по словам Амшуна, у компании имеется клиент, которому требуется обрабатывать до 4 Пбайт данных в день.

Как на практике применяются решения Splunk, рассказали клиенты компании из России. Среди них один из ее первых в стране пользователей – онлайн-кинотеатр Okko. Это сервис был запущен в 2011 году, в 2018-м стал частью Rambler Group; в 2019 году планируется ребрендинг сетей кинотеатров Rambler Group «Формула кино» и «Синема парк» в Okko. Представлявшие сервис Екатерина Коптилина, ведущий аналитик, и Михаил Алексеев, специалист по обработке и анализу данных, отметили, что с помощью продуктов Splunk ML Toolkit, DB Connect можно отслеживать поведение клиента и выявлять его предпочтения. Инфраструктура Okko, работающая с более чем 5 Тбайт данных, построена на платформе СУБД PostgreSQL, Impala, Cloudera HDFS и Hive, а для непосредственной обработки данных пользователей применяется Kafka.

Продукты Splunk используются в проектах цифровой трансформации и в компании «МегаФон». Дмитрий Никитенко, руководитель по системам анализа и обработки данных, и Никита Кучинов, менеджер по развитию систем самообслуживания, рассказали, в том числе, как удалось существенно сократить паузу между подключением клиента к центру обслуживания абонентов и запуском автоинформатора, а также как проверять бизнес-гипотезы и планировать маркетинговые кампании.

О своем опыте работы с продуктами Splunk для решения операционных задач, обеспечения безопасности и мониторинга бизнес-процессов с целью выявления скрытых взаимосвязей рассказали также представители МТС, Mars и «Росгосстрах».

Мероприятие прошло при поддержке компании RRC, профильного дистрибьютора решений Splunk в России.

Прошло пять лет с момента выпуска решения 1С:ERP, серьезно повлиявшего на расстановку сил в соответствующем сегменте отечественного ИТ-рынка. Это помогло стабильному росту бизнеса «1С», который в 2018 году прогнозируется на уровне 15%. Теперь цель компании – достичь тех, кого раньше охватить по тем или иным причинам не удавалось: самых крупных и самых мелких.

«Если раньше мы могли предложить предприятиям автоматизировать лишь учет, то теперь – основную деятельность: например, на промышленном предприятии внедрить внутрицеховой MES, а торговой компании помочь с выбором поставщиков и обслуживанием клиентов», — заявил директор «1С» Борис Нуралиев в рамках «Бизнес-форума 1С:ERP», состоявшегося в конце октября. Более того, 1С:ERP постепенно начинает рассматриваться как основа для построения цифрового предприятия в промышленности, и особенно это касается оборонных предприятий. Показательным для продвижения такого подхода стал проект на предприятии «Редуктор-ПМ», входящем в холдинг «Вертолеты России».

Любопытно, что среди главных причин выбора заказчиками платформы «1С» остались недорогая цена и достаточный функционал — как и до 2014 года, а такой фактор, как импортозамещение, пару лет назад также находившийся наверху списка, стремительно ушел в конец десятки.

Продолжается тенденция перехода компаний с прежнего многолетнего флагмана «1С:Управление производственным предприятием» на 1С:ERP. Сейчас УПП уже снято из прайс-листа и поставляется по отдельным «обоснованным» заявкам – например, когда на этой платформе уже автоматизировано несколько предприятий группы. С 2020 года планируется двукратный рост на поддержку УПП. «О полном снятии УПП с поддержки мы предупредим за три года. «Разумеется, мы заинтересованы в скорейшей замене старых систем на новые, но понимаем, что систему управления предприятием просто так не заменить», — признал Нуралиев.

В пользу обновления играет то, что все чаще заказчикам требуется поддержка систем Индустрии 4.0, особенно это касается новых производств. На заводах все шире используются различные датчики и умные устройства, а также технология RFID.

Например, в начале 2018 года на Ульяновском автозаводе был проведен аудит и сравнительный анализ, приведший к проекту «Цифровой УАЗ», охвативший процессы проектирования, производства и сервиса. Главными задачами при этом стали повышение уровня кастомизации машин и качества их сборки. Для отслеживания прохождения машин и комплектующих по конвейеру используются технологии RFID и позиционирование в реальном времени (Real-time Locating System, RTLS).

«Почти все наши решения уже реализованы на базе ‘1С’, а остальные переводятся на эту платформу», — отметил Евгений Ступин, ИТ-директор УАЗ. Критичными для бизнеса проектами стали система управления жизненным циклом изделий (PLM) и система оперативного управления производством (MES), обеспечивающая ритмичность производства, сокращение простоев главного конвейера и повышение качества установки комплектующих.

В группе «ЛокоТех» общей тенденцией также стало внедрение единых решений по группе и унификация. Ключевым событием в 2016-2017 годы стал перевод 10 ремонтных заводов с зарубежного ПО на 1С:ERP. Более того, планируется переход на единую ERP всех заводов и локомотивных депо.

«Один из наиболее важных проектов — внедрение оперативного управления производством. Он идет сейчас, и руководство холдинга видит в нем наибольший эффект», — подчеркнул Владимир Романов, ИТ-директор «ЛокоТех». Кроме того, в этом году планируется построение системы бюджетирования, а на следующий год – автоматизация казначейства и договорной деятельности. В будущем, по словам Романова, будет создана «доверенная цифровая среда» с участием производителя локомотивов, «Трансмашхолдинга», и основного их эксплуатанта – РЖД.

Владимир Романов: «Один из наиболее важных проектов — внедрение оперативного управления производством» Источник: «1С»

«Главное, что подтолкнуло к переходу на единую ERP, – риск нарушения транзакционной целостности. За последние семь лет в компании сложилось огромное количество интегрированных систем на базе различных конфигураций '1С', и складывалась тенденция к дальнейшему усложнению ИТ-ландшафта», — рассказал Николай Переверзев, финансовый директор компании «Аквалайф», третьего на рынке производителя напитков после Coca-Cola и Pepsi. По его словам, в число задач проекта, начатого в 2017 году, входил отказ от «ужаса в виде четырех управленческих баз данных». С технической точки зрения было необходимо свести к минимуму количество используемых информационных систем, а с точки зрения бизнеса — усилить контроль ценообразования, автоматизировать формирование консолидированной отчетности, а также стабилизировать работу систем (прежние решения на базе УПП не справлялись с нагрузкой). Запускать систему пришлось дважды – первая попытка в мае 2017 года была неудачной, и лишь в январе 2018 года решение заработало.

Николай Переверзев: «Главное, что подтолкнуло к переходу на единую ERP, – риск нарушения транзакционной целостности» Источник: «1С»

«Такой проект – это огромная проблема, — объясняет Переверзев. – Перерабатывается функционал, затрагивается работа всех блоков, изменяется баланс сил и взаимоотношения между руководителями». При этом важно соблюсти соотношение собственных сил и привлеченных партнеров. «Аквалайф» делал проект на две трети собственными силами, и 20 вовлеченных в него сотрудников обошлись в 40 млн руб. в год.

Но главное – управление ожиданиями от проекта. Не надо обещать невозможного, особенно высшему руководству.

Сегодня разработка программного обеспечения по большей части выполняется командами, обращающимися к одному или нескольким репозитариям кода, которые управляются системами контроля версий. Индивидуальные разработчики выбирают области кода, которые требуют изменений, и должны решить, как отразить эти изменения в системе контроля версий.

Иногда изменения в коде достаточно просты и не несут серьезных рисков. В этом случае разработчик вносит правки с минимальным риском вмешательства в работу товарищей, имеющих дело с той же самой базой кода.

Но что, если команда занимается реализацией более серьезной функции, на разработку которой уходит несколько дней, недель или даже месяцев? Когда внесенные в код изменения целесообразно отражать в системе контроля версий? И как при регистрации этих изменений добиться того, чтобы код, созданный командой разработчиков, интегрировался без ошибок сборки и других функциональных дефектов?

Для чего нужна непрерывная интеграция?

Поначалу кажется, что разработку имеет смысл разделить на несколько независимых ветвей контроля версий. Команда должна решить, стоит ли использовать единую функциональную ветвь, или же создать несколько ветвей для каждого из разработчиков.

Однако интуиция подсказывает, что такой способ разработки не является оптимальным. Каждая функциональная ветвь в процессе разработки отклоняется от основной линии. И если такие функциональные ветви используются в течение достаточно продолжительного времени, процесс интеграции становится затруднен, на разрешение конфликтов уходит слишком много времени, а ошибок возникает все больше.

Крупные команды, испытывающие постоянную потребность в разработке и развертывании, быстро придумали новый подход, при котором изменения вносятся часто, а проверка сборки и функциональности выполняется с помощью средств автоматизации. Такой подход получил название непрерывная интеграция (continuous integration, CI).

Определение непрерывной интеграции

Непрерывная интеграция – это философия написания кода и связанный с этим набор правил, регламентирующих внесение небольших изменений и частую проверку кода в репозитариях с системами контроля версий.

Поскольку большинство современных приложений требуют разработки кода на различных платформах и с помощью различных инструментальных средств, команде нужны технологии, позволяющие интегрировать и проверять эти изменения. Техническая цель непрерывной интеграции заключается в создании согласованного и автоматизированного способа сборки, объединения и тестирования приложений. При согласованном процессе интеграции команды чаще фиксируют изменения, что приводит к улучшению взаимодействия и повышению качества программного обеспечения.

Как непрерывная интеграция работает на практике

Непрерывная интеграция – философия и методология разработки, опирающаяся на процессы и автоматизацию сборки программного обеспечения. Придерживаясь CI, разработчики часто фиксируют изменения кода в системе контроля версий, причем у большинства команд процедура фиксации выполняется не реже одного раза в день.

Объясняется это тем, что обнаружить ошибки и другие дефекты программного обеспечения проще после внесения небольших изменений, а не масштабной переделки, занимавшей длительное время. При сокращении продолжительности циклов фиксации снижается и вероятность того, что сразу несколько разработчиков будут редактировать одни и те же куски кода, что потребует их предварительного согласования перед выполнением фиксации.

В процессе внедрения непрерывной интеграции команды зачастую начинают с настройки конфигурации и определения правил управления версиями. Несмотря на частые проверки кода реализация новых функций и внесение изменений могут занимать как короткие, так и длительные промежутки времени. Команды разработчиков, практикующие непрерывную интеграцию, используют различные технологии проверки готовности функционала и кода к выпуску.

Команды, придерживающиеся CI, предпочитают фиксировать код в единственной ветви или стволе разработки. При использовании нескольких ветвей продолжительность их существования стараются минимизировать, объединяя одну ветвь с другой.

Существуют технологии управления функциями, которые требуют более длительной разработки, но при этом по-прежнему интегрируются в ветви. Некоторые команды используют функциональные флаги – свойство конфигурации, позволяющее включать и отключать нужные функции и код прямо в процессе исполнения программы. Функциям, находящимся в процессе разработки, ставятся в соответствие функциональные флаги, они вставляются в основную ветвь и отключаются до момента готовности.

Процесс сборки автоматизируется путем упаковки всего программного обеспечения, базы данных и других компонентов. Например, если вы разрабатываете приложение Java, средства CI упакуют все статические файлы веб-сервера (HTML, CSS и JavaScript) вместе с приложением Java и скриптами базы данных.

Большинство инструментов CI позволяет разработчикам создавать сборки по требованию, программно фиксируя код в репозитарии контроля версий или выполняя соответствующие операции по заранее заданному расписанию. Командам необходимо обсудить расписание сборки, которое наилучшим образом подходит бы для группы заданной численности, количество фиксаций в течение дня и другие вопросы проектирования приложения. Рекомендуется убедиться, что фиксации и сборки выполняются быстро, в противном случае они могут препятствовать прогрессу команд, пытающихся писать код быстро и фиксировать его часто.

Рабочие процессы здесь называются конвейером CI.

Разработка и тестирование с использованием непрерывной интеграции

При внедрении конвейера CI у разработчиков формируется новый технологический процесс. Они вносят правки в код в редакторе, интегрированной среде разработки или в своей собственной, «локальной» среде. В идеале в локальной среде должна присутствовать исполняемая среда, позволяющая запускать основные функциональные тесты. Затем выполняются автоматизированные модульные тесты, которые также легко запускаются в указанных средах.

После успешного прохождения основных тестов выполняется фиксация кода. Платформа CI (например, Jenkins или Travis) запускает сборку, в которой все элементы кода помещаются в один или несколько строительных блоков. Затем процедура CI проводит анализ статического кода и сообщает разработчикам об обнаруженных в сборке ошибках.

В случае обнаружения ошибок члены команды разработчиков должны быстро изучить и разрешить все вопросы, поскольку заблокированный конвейер сборки останавливает процесс разработки всей команды. Многие группы отслеживают показатели успешных сборок и процент ошибок, используя эти данные при поиске резервов для улучшения процесса разработки.

После того, как программное обеспечение упаковано, инструменты CI могут помочь вам перенести сборку программного обеспечения в среду его поставки, активизировать необходимые сервисы (например, перезапустить серверы приложений) и выполнить любые автоматизированные тесты. Эти шаги обычно называют непрерывной поставкой (continuous delivery, CD), а функции тестирования, встроенные в конвейер непрерывных интеграции и поставки (CI/CD), становятся компонентами непрерывного тестирования.

Команды, использующие в своей деятельности CI/CD, способны быстрее предлагать пользователям новые функции и расширения. Средства автоматизации и технологические процессы позволяют сократить объемы написания кода и уменьшить число функциональных дефектов. Технологические процессы такого рода укрепляют взаимодействие в команде и помогают создавать интеллектуальные, еще более инновационные решения. И все это начинается с непрерывной интеграции.