Компания Hitachi Vantara представила платформу для управления данными Lumada Data Catalog, расширяющую возможности решений компании для реализации методологии DataOps. Lumada Data Catalog обеспечивает унификацию разнородных данных, рассредоточенных в облаке, инфраструктуре данных, компьютерах и устройствах на границе сети. Технология каталогизации данных Waterline предоставляет заказчикам типовую инфраструктуру метаданных для управления всеми имеющимися данными. Применяя DataOps к унифицированным наборам данных, предприятия смогут быстро извлекать из данных ценную информацию и внедрять инновации.

Lumada Data Catalog позволяет создать требуемый слой метаданных для поддержки критически важных информационных проектов

«Операционные, технические и нормативные аспекты проблем, возникающих в связи с увеличением объемов данных, делают каталоги данных все более важным инструментом современных организаций, – считает технический директор направления цифровых решений Hitachi Vantara Гидо Шредер (Guido Schroeder). – Дополнение комплекса решений Hitachi Vantara для DataOps функциональными возможностями систем Waterline Data – важный шаг, благодаря которому наши заказчики смогут эффективно управлять активами данных в любой информационной среде – от границы до центра инфраструктуры и мультиоблачных систем».

Основатель и технический директор Waterline Data Алекс Горелик (Alex Gorelik), который теперь является старшим научным сотрудником Hitachi Vantara, считает, что технология Waterline станет прекрасным дополнением к комплексу продуктов, технологий и решений Lumada, который обеспечивает конкурентные преимущества заказчикам в любой отрасли: от промышленного производства и энергетики до транспорта и розничной торговли. «Наша технология поможет ускорить реализацию намерения Hitachi Vantara открыть возможности методологии DataOps для создания средств аналитики, управления данными и обеспечения операционной гибкости», – уверен он.

Lumada Data Catalog дополняет продукты комплекса Lumada Data Services и эффективно интегрируется с ними, открывая новые возможности – обнаружение данных, сервисы самообслуживания для данных. Каталог данных обеспечивает необходимую прозрачность и предсказуемость благодаря возможности инвентаризации и классификации активов данных. Он позволяет создать требуемый слой метаданных для поддержки критически важных информационных проектов на всех этапах – от подготовки данных до комплексного управления и контроля нормативно-правового соответствия. Решение спроектировано так, что способно расширяться до уровня всего предприятия, и использует высокомасштабируемые и высокопроизводительные компоненты, такие как Spark, Solr и собственную архитектуру на основе агентов либо архитектуру Kubernetes на базе контейнеров. В сочетании с предусмотренными в Lumada возможностями автоматизации на основе политик такой подход позволит использовать широкий ряд цифровых решений и обеспечит преимущества во множестве отраслей.

Основа цифровой трансформации — аналитика и данные. От их надежной защиты и доступности сегодня зависит как существование любого бизнеса, так и работоспособность государственных учреждений. Однако, согласно исследованию Veeam Cloud Data Management Report 2019, 73% организаций не могут обеспечить своим клиентам и сотрудникам бесперебойный доступ к приложениям и данным, особенно в случае использования гибридных решений, когда данные создаются, хранятся, управляются и реплицируются в различных гетерогенных платформах и средах.

Компания Veeam, недавно приобретенная фондом Insight Partners, объявила о выходе новой версии своего флагманского продукта — Availability Suite v10, призванного обеспечить постоянную доступность, мобильность и защиту данных в произвольных средах. Возможности версии 10 позволяют обеспечить защиту файлов в системах хранения, подключенных к сети (NAS), автоматически выполнить мгновенное аварийное восстановление до 273 виртуальных машин (Multi-VM Instant Recovery) в случае масштабных отключений ЦОДов, установить барьер для вирусов-вымогателей. Среди других 150 серьезных обновлений для управления данными и их защиты в гибридных облаках можно отметить: новый интерфейс Veeam Data Integration API для интеграции стороннего ПО для анализа данных компании; поддержку новых экосистем для работы в средах Linux, HPE Primera, HPE StoreOnce, Nutanix AHV, PostgreSQL и MySQL, для платформ без операционных систем, а также для межплатформенного сервера баз данных RDM Server; защиту всех корпоративных рабочих нагрузок с помощью расширенных возможностей резервного копирования (данные в копии невозможно изменить, что повышает уровень защиты в облаке).

Годовой оборот компании Veeam, предлагающей единую платформу для модернизации резервного копирования и ускорения перехода на технологии гибридного облака и защиты данных, сегодня составляет около 1 млрд долл, половина которого приходится на долю стран Европы, Ближнего Востока и Африки (регион EMEA). Одна из целей инвестиций со стороны фонда Insight Partners — переход ко второму этапу развития Veeam, связанному с технологиями гибридных облаков. Согласно «Акту 2», компания намерена удвоить свой оборот и активизировать работу на североамериканском рынке, особенно в сегменте корпоративных продуктов для управления данными в облаке.

Штаб-квартира Veeam будет перенесена из Швейцарии в США, одновременно произойдут изменения в команде управленцев. Назначенный новым региональным директором в России, СНГ, Украине и Грузии Владимир Клявин заявил: «С выходом десятой версии Availability Suite, для компании закончилось первое действие, связанное с работой в нише виртуализации, в основном вокруг VMware и Hyper-V, при обороте в миллиард долларов. Теперь началось второе действие, задача которого — удвоить оборот, в том числе за счет перехода на модель по подписке, предлагать единую простую и надежную платформу работы с данными для облачных, виртуальных и физических сред».

Лишь около 10% отечественных предприятий внедрили EAM-системы для управления своими основными  фондами.  По мнению Леонида Винокурова, вице-президента по развитию бизнеса компании «Интерпроком», столь низкий уровень проникновения EAM-систем объясняется тем, что многим нашим главным инженерам еще только предстоит  преодолеть  путь, пройденный их коллегами — финансовыми директорами, ставшими одними из ключевых заказчиков систем ERP. Главные инженеры должны осознать, что необходимо не только модернизировать физические активы, но и разумно управлять ими, оптимальным образом организуя их обслуживание и  ремонты. А  для этого требуются передовые цифровые технологии. Ключевую роль в стимулировании перехода на цифровой ТОиР может сыграть государство.

Леонид Винокуров: «Предприятия окупают затраты на EAM за счет снижения расходов на ремонт и обслуживание активов, сокращения времени их простоя и уменьшения числа критических сбоев»

- Считается, что внедрение EAM-систем существенно повышает эффективность современных организаций. Что представляет собой этот сегмент ИТ-рынка?

Для начала определимся, о каких системах идет речь. Системы управления материальными активами, или системы управления техническим обслуживанием и ремонтами (ТОиР, в западной терминологии —  EAM, Enterprise  Asset  Management),  — это автоматизированные системы управления, содержащие информацию о следующих объектах управления:  производственные активы  любой сложности (включая оборудование, здания, коммуникации, инфраструктуру в привязке к местоположению и спецификации);  трудовые ресурсы, склады, запчасти; инциденты  и  отказы  оборудования;  рабочие задания  на осмотры, диагностику, ремонт и обслуживание.

Такие системы нужны  везде:  в нефтегазе и энергетике, на транспорте и в промышленности, в ЖКХ, медицине, науке и госуправлении. Непосредственными пользователями ЕАМ являются планировщики работ, диспетчеры, мастера, ремонтный персонал и, конечно, руководители служб, отвечающих за содержание оборудования.

Рынок EAM структурирован и имеет долгую историю. Достаточно сказать, что Gartner формирует квадрат по EAM-системам более 15 лет. Архитектура и функциональность современных EAM-систем хорошо отработаны, лидеры известны, и здесь  уже сформировался  достаточно широкий спектр различных по цене и качеству предложений как от зарубежных, так и от отечественных  производителей. Их  выбор во многом зависит от сложности решаемых задач и объема бюджета.

Что же касается профессиональных консультантов по внедрению EAM, то, по нашим оценкам, в России  таких специалистов  не  более 200–300. Это число  соответствует текущим потребностям рынка: в среднем в год  выполняются  пять крупных и  50–70  небольших EAM-проектов. Конечно, этого недостаточно. Но, как показывает опыт, в условиях спроса рынок готовит ресурсы быстро, и если спрос вырастет, то и специалисты по EAM тоже вскоре появятся.

- Насколько EAM-системы распространены в России?

В недавно опубликованном НИИ ВШЭ сборнике «Цифровая экономика: 2020» дается такая оценка распространенности систем в российских организациях: ERP используется в 21,6% компаний, CRM — в  17,6%,  SCM (включая EAM) — в  10,1%  предприятий. Если консолидировать данные из различных ИТ-изданий и от поставщиков EAM-решений, то получается, что всего в России реализовано около тысячи EAM-проектов. Следовательно, у 90% из 10 тыс. крупнейших российских предприятий и организаций нет современных АСУ ТОиР.

В аналитическом отчете Accenture, представленном на Международном экономическом форуме в Давосе,  указывается,  что цифровые инновации в области управления жизненным циклом материальных активов обладают наибольшим ценностным потенциалом в мировой электроэнергетике среди всех цифровых  инициатив:  объем инвестиций в это направление  может достичь  480 млрд долл. в течение следующих 10 лет.  Предприятия окупают такие затраты  за счет снижения расходов на ремонт и обслуживание активов, сокращения времени их простоя и уменьшения числа критических сбоев.

- Налицо противоречие: EAM-системы нужны всем, но у 90% российских предприятий они не внедрены. В чем причины  этого  и как изменить  сложившуюся  ситуацию?

Главная проблема в том, что российские технические руководители пока не воспринимают автоматизацию управления ТОиР как первостепенную задачу. Давайте вспомним ERP-бум начала 2000-х годов, когда внедрение систем ERP на крупных предприятиях стало для российских бизнес-лидеров жизненной необходимостью: топ-менеджеры предприятий, в особенности финансовые  директора,  считали  установку  этих систем задачей наивысшего приоритета, ведь без них невозможно подготовить качественную отчетность — бухгалтерскую, налоговую, управленческую, МСФО. А это колоссальные риски для предприятия.

Думаю, в отношении EAM главным инженерам отечественных предприятий еще предстоит  преодолеть  путь, пройденный российскими финансовыми директорами, ставшими одними из ключевых заказчиков систем ERP: главные инженеры должны осознать, что необходимо не только модернизировать физические активы, но и разумно управлять ими, оптимальным образом организуя их обслуживание и ремонты, а для этого требуются передовые цифровые технологии.

Сегодня в рамках национальных проектов государство инвестирует в строительство и модернизацию колоссальные средства, добивается увеличения производительности труда и повышения эффективности. Улучшение управления ТОиР, в том числе за счет внедрения EAM-систем, — это реальный путь достижения намеченных целей.

- Что могло бы стимулировать наши предприятия активнее внедрять цифровые технологии для управления активами?

Считаю, что нужно не столько  стимулировать  разработку EAM-систем и подготовку консультантов, сколько  мотивировать российские предприятия  и их главных инженеров автоматизировать управление ТОиР. Есть же, например, в России национальный проект «Повышение производительности труда», который, в частности, включает задачу поддержки этого процесса за счет автоматизации и внедрения цифровых технологий. Почему бы государству не сформулировать амбициозную, но достижимую цель — внедрить тысячу новых АСУ ТОиР на российских предприятиях за два-три года  —  и добиваться ее решения как экономическими, так и организационными методами?

- Сегодня нередко высказывается мнение о том, что нашему рынку нужны легкие, быстро внедряемые решения на базе новейших технологий — IoT, RCM, BIM и  т. д. Может быть, на  90%  российских предприятий стоит  сразу внедрять АСУ ТОиР нового поколения, минуя «традиционные» EAM-системы?

Дело в том, что в России  существует  большой разрыв между предприятиями-лидерами (их около 10%), которые находятся на острие цифровой трансформации, и большим количеством компаний (оставшиеся 90%), не достигших даже базового уровня автоматизации ТОиР. И  поэтому  для  большинства организаций  задача цифровой трансформации ТОиР звучит примерно так: нужно внедрить базовую управленческую модель ТОиР, на основе которой затем внедрять и Интернет вещей, и предиктивную аналитику, и BIM, и  все  остальное.

Внедрение EAM — это вопрос не столько цифровизации, сколько собственно управления процессами ТОиР. Основой для них служат добротные описания активов и оборудования, нормативы, проекты производства работ (ППР) и техкарты, процессы регистрации инцидентов, выпуска рабочих заданий и  т. д. Все  это входит в стандартную функциональность «классической» EAM-системы.

Как современный банк не может работать без единой учетной системы, так и современное производственное или транспортное предприятие не будет эффективно работать без хорошей транзакционной EAM-системы. И так  же  как в банке для внедрения RPA и искусственного интеллекта необходима автоматизированная банковская система (АБС), так и в ТОиР для управления ключевыми процессами  нужен  информационный фундамент — EAM-система.

Внедрить в процессы ТОиР новые технологии (Интернет вещей, прогнозную аналитику, искусственный интеллект, BIM, доступ с мобильных устройств, облачные среды и пр.), минуя EAM-системы, конечно, заманчиво, но вряд ли возможно. Эволюционное развитие еще никто не отменял. Да, новые технологии позволяют пройти некоторые этапы быстрее и с меньшими затратами. Например, с помощью программных роботов можно избавиться от рутинного заполнения паспортов оборудования и реестров активов, эффективнее проводить нагрузочное и функциональное тестирование систем. Но в любом случае необходим «скелет», фундамент, без которого все элементы автоматизации ТОиР будут разрозненными и не дадут синергетического эффекта.

- Импортозамещение в области EAM — это реально?

Конечно, реально. Но нужно учесть, что  20–40  крупнейших российских предприятий уже создали свои АСУ ТОиР. Эти системы внедрялись и развивались в течение многих  лет. Это  серьезные инвестиции, они встроены в производственный процесс, у них тысячи пользователей, и для многих предприятий эти системы стали критическими для бизнеса. Большинство крупных заказчиков создавали АСУ ТОиР на базе мощных зарубежных платформ — IBM Maximo, SAP и пр.

Как осуществить импортозамещение в этом случае? На наш взгляд, на таких предприятиях делать это следует скорее эволюционно, чем революционно. Возможно, стоит начать с импортозамещения ИТ-оборудования, операционных систем, СУБД, внедрять встраиваемые модули отечественной разработки, работающие в тесной интеграции с базовым решением. И главное — надо помнить, что проект по замене EAM-платформы по срокам и инвестициям, как правило, сопоставим с внедрением нового решения.

На импортозамещении, определенно, следует сосредоточиться тем тысячам предприятий, у которых еще нет систем автоматизации ТОиР. И здесь, реализуя идею «тысячи новых АСУ ТОиР за два года» и  выполняя  соответствующие инвестиционные программы, государство вполне может потребовать, чтобы  их реализовывали  только на базе отечественных EAM-платформ.

- Какое место  занимают  проекты и компетенции в области EAM-систем в компании «Интерпроком»?

Для нашей компании EAM-проекты — одно из основных направлений работы. В нашем портфеле — крупные  внедрения  в РЖД, аэропорту Домодедово, торговой сети «Пятерочка» (ее развивает X5 Retail Group), компаниях  «Нидан Соки»,  «РусГидро», «Росэнергоатом», «ТПС недвижимость». Работая с такими разными заказчиками и  в таких разных предметных областях,  наши консультанты приобрели бесценный опыт автоматизации  многочисленных  процессов с использованием современных EAM-систем. Наши специалисты обладают уникальным опытом внедрения платформ IBM Maximo и IBM Tririga в России в различных секторах: государственных организациях,  ретейле,  на транспорте, производстве, в энергетике и других.  Наш уровень  компетенции  подтвержден  более чем 30 сертификатами международного образца и статусом IBM Gold Business Partner.

Накопленный опыт лег в основу нашего собственного EAM-решения — «Аксиома». Мы заложили в него не только классические концептуальные EAM-модели и  дружественный  интерфейс, но и возможность доступа с мобильных устройств и другие новые технологии. «Аксиома» внесена в Единый реестр российского ПО. При разработке мы использовали сервис-ориентированную архитектуру (SOA) и программное обеспечение с открытым кодом: сервер приложений WildFly, реляционную СУБД PostgreSQL, веб-сервер Apache HTTP. Создавая систему, мы изначально продумывали способы перехода пользователей зарубежных платформ АСУ ТОиР на  «Аксиому»  — считаем, что эта возможность наверняка будет востребована нашими потенциальными заказчиками.

«Почта России» сообщила о старте проекта интеллектуальной роботизации и автоматизации бизнес-процессов на основе RPA-инструментария Automation Anywhere. Соответствующее соглашение она заключила с ведущим российским партнером этого вендора — компанией «Новейшие Цифровые Технологии» (Advanced Digital Technologies, ADT), имеющей статус мастер-дистрибьютора и привилегированного партнера Automation Anywhere на территории России, стран СНГ и Украины.

Реализация проекта соответствует ключевым целям стратегии «Почты России», направленным на цифровую трансформацию своего бизнеса и планомерную цифровизацию рабочих процессов. Внедрение инструментов RPA и интеллектуальной автоматизации позволит повысить производительность труда сотрудников компании за счет сокращения числа выполняемых ими рутинных операций и будет способствовать росту качества обслуживания ее клиентов.

«Разбор часто повторяющихся инцидентов и ИТ-проблем уже сейчас могут эффективно делать инфороботы. Например, ежедневные бухгалтерские операции или заявление на отпуск: инфоробот берет эту информацию, осуществляет необходимые проверки, оформляет соответствующий приказ и проводит транзакции в учетной системе. Работа становится более эффективной, быстрой и качественной, а риск возникновения ошибок на местах сводится к минимуму», — отметил Сергей Емельченков, заместитель генерального директора по информационным технологиям и развитию цифровых сервисов «Почты России».

«"Почта России" имеет стратегически важное значение для страны. Наша компания готова вложить все свои ресурсы и экспертизу для эффективного внедрения информационных технологий в бизнес-процессы ведущего логистического оператора. Мы хотим, чтобы услуги почтовой связи на всей территории Российской Федерации стали более продуктивными, удобными и востребованными. В результате выиграют и сотрудники, и клиенты», — подчеркнул Рави Сачдева, исполнительный директор ADT.

Компания Hitachi Vantara, дочернее предприятие концерна Hitachi, объявила о намерении приобрести компанию Waterline Data, предлагающую предназначенные для использования на основе методологии DataOps решения для интеллектуальной каталогизации данных, которые позволяют извлекать уникальную информацию из больших наборов данных и обеспечивать соблюдение нормативных требований, таких как Общий регламент по защите данных (GDPR).

Приобретение Waterline Data планируется завершить к 31 марта 2020 года

«Hitachi Vantara предлагает заказчикам цифровые архитектурные компоненты, стратегии DataOps и отраслевые решения, необходимые для преобразования организаций на основе информации, извлекаемой из данных, – говорит Брэд Сурак (Brad Surak), президент направления цифровых решений Hitachi Vantara. – Технологии Waterline Data дополнят экспертный опыт Hitachi Vantara в области реализации DataOps и станут ключевым продуктом в составе комплекса Lumada Data Services, обеспечивая высочайшую прозрачность, строгий контроль качества, более точное соответствие требованиям регуляторов и более эффективное управление данными».

Созданная Waterline Data технология каталогизации на основе машинного обучения позволяет автоматизировать процесс обнаружения метаданных при решении аналитических задач и управлении данными в различных информационных средах. Эта технология широко используется в сфере финансовых услуг, здравоохранении и фармацевтической отрасли. Технологию можно применять к большим объемам данных в средах на базе Hadoop, SQL, Amazon Web Services (AWS), Microsoft Azure и Google Cloud, разместив соответствующие решения на локальной площадке или в облаке.

В основе решений Waterline Data лежит запатентованная технология, позволяющая устранить препятствия для успешного функционирования озер данных. К примеру, чтобы корректно идентифицировать номера страховых требований в озере данных размером в несколько петабайт, решению Waterline Data достаточно опознать как номер требования только одно поле. Затем эта технология генерирует уникальный «отпечаток», позволяющий с высочайшей точностью распознать и пометить все подобные поля в озере данных независимо от их форматов, имен или источников данных. Это позволяет в значительной мере упростить извлечение из данных ценной аналитической информаци. При создании так называемых «отпечатков» используются системы на базе искусственного интеллекта (ИИ), выполняющие автоматические операции по обнаружению, классификации и анализу распределенных и разрозненных ресурсов данных.

Созданная Waterline Data технология каталогизации позволяет автоматизировать процесс обнаружения метаданных при решении аналитических задач и управлении данными

Интеграция технологии Waterline Data с комплексом Lumada Data Services позволит заказчикам создать общую структуру метаданных и преодолеть разрозненность массивов данных, распределенных между облаком, центром обработки данных, компьютерами и устройствами на границах сети. Применяя методологию DataOps к унифицированным наборам данных, заказчики смогут быстрее получать ценную аналитику и внедрять инновации.

«Наши исследования показывают, что почти половина крупных компаний, работающих с данными, тратят более 50% времени только на то, чтобы найти и подготовить необходимые данные для анализа. В последние годы продукты для каталогизации данных стали важным стратегическим направлением для предприятий, стремящихся решать задачи использования данных и совершенствовать управление информационными ресурсами, – отметил Мэтт Аслетт (Matt Aslett), вице-президент по исследованиям компании 451 Research. – Это приобретение – логичный и стратегически обоснованный шаг: возможности Waterline Data прекрасно дополняют решения Hitachi Vantara, в частности, комплекс продуктов Lumada Data Services. Присоединение Waterline Data укрепит способность компании удовлетворять растущий спрос на продукты и услуги, обеспечивающие более гибкие и автоматизированные подходы к управлению данными с помощью DataOps, и поможет предприятиям, использующим данные, в полной мере задействовать информационные ресурсы».

Приобретение Waterline Data планируется завершить к 31 марта 2020 года. После приобретения Waterline Data компания Hitachi Vantara будет предоставлять эти технологии заказчикам как в виде отдельных решений, так и интегрированных компонентов в составе сервисов данных Lumada Data Services.

Качество данных становится ключевым фактором, определяющим, насколько успешными окажутся усилия предприятия по монетизации своих информационных активов, уверены участники Саммита по современному управлению данными, организованного компанией Syncsort — поставщиком решений, позволяющих обеспечить доступность больших данных для самых актуальных видов аналитической обработки. Выступившая на саммите доктор Тендю Йогуртчу, технический директор Syncsort,  отметила, что для достижения  высокого качества  данных  предприятиям нужно очень тщательно продумывать инфраструктуру данных и последовательно выстраивать процессы управления ими. Это поможет избежать множества проблем, которые, как известно, стремительно нарастают по мере увеличения объемов, потоков, скорости обработки, разнообразия форматов и источников данных.

- Сегодня в России многие инициативы в области управления данными сконцентрированы на их монетизации и получении выгоды для бизнеса. Как добиться успеха в этом направлении?

Все зависит от конкретной задачи и поставленных целей.  Необходимо  правильно определить источники данных и оценить, какие технологии понадобятся для обработки полученной информации. Ключевой фактор успеха — заблаговременный выбор подходящих метрик. Очень часто  компании задумываются  о качестве данных уже после завершения проектов,  но,  чтобы внести  необходимые изменения  на этой  стадии,  требуются серьезные затраты. Поэтому важно заранее определить, как будет осуществляться управление данными, где и как будут создаваться и обрабатываться данные, которым можно доверять, и затем выбрать технологии, способные обеспечить нужную гибкость и переход на перспективные платформы.

- Российские заказчики продолжают спорить, надо ли сохранять все данные или только те, ценность которых для бизнеса понятна уже сегодня. Каковы ваши рекомендации?

Считаю, что необходим компромисс. Всегда пригодятся прежние, «исторические» данные — например, для обучения создаваемых моделей и прогнозирования. Полноценный анализ данных реального времени с извлечением из них пользы тоже предполагает наличие больших объемов ранее накопленной информации. Поэтому следует искать возможности для снижения стоимости хранения как «исторических» данных, так и тех сведений, которые  необходимо хранить по требованиям  регуляторов. Сегодня можно организовать «холодное» хранение в облаке, переместив туда редко используемые данные, или задействовать различные инфраструктурные ресурсы.

- Менеджеры всегда хотят иметь достоверную актуальную информацию. Как обеспечить  и измерить ( что тоже очень  важно ) точность корпоративных данных?

Качество данных имеет первостепенное значение, и его обеспечение становится серьезной проблемой, поскольку источников данных сейчас гораздо больше, чем когда-либо. По мере того как предприятия все чаще используют для хранения новые решения, например блокчейн и облака, в ходе репликации неточные данные продвигаются все дальше и дальше, и зачастую  становится  трудно определить, на каком этапе они стали некорректными. В частности, блокчейн позволяет хранить информацию, которая никогда не может быть потеряна, изменена или удалена, но эта технология не способна выявлять поступающие на вход «плохие» данные. Поэтому крайне необходим контроль качества данных, поступающих в блокчейн.

Серьезным шагом к измерению качества данных станет возможность профилировать все ваши  данные. Это  позволит сразу же выявлять отклонения,  определять  процентное соотношение  несущественной информации  и  выполнять многие другие действия.  Кроме того, профилирование поможет определять бизнес-правила и оценивать, какая часть данных им соответствует.

Чтобы создать среду, способствующую получению точных данных, предприятиям следует сконцентрироваться на бизнес-проблемах, которые они пытаются решить. Конечно, многое зависит от применения правильных инструментов, но не менее важно, чтобы сотрудники, работающие с данными, понимали их суть и имели в своем распоряжении средства, которые позволяют  обнаруживать  любые отклонения от установленных регуляторами норм,  а также выявлять  персональные  данные и  данные платежных карт (PCI), не дожидаясь их перемещения на следующие этапы обработки и хранения.

Едва ли сотрудники смогут вручную отслеживать и оценивать  всю поступающую информацию  — у них попросту нет для этого времени. Зато компьютерная программа сможет быстро сканировать огромные объемы данных. Но алгоритмы машинного обучения окажутся неэффективными, если ими не будут пользоваться те специалисты, которые хорошо  разбираются в бизнес-проблемах  и  процессах  и знают, какие данные требуются и какие доступны для решения этих проблем. Алгоритмы ML могут генерировать оповещения в двух ситуациях: если возникает проблема, связанная с качеством данных,  и  если имеющиеся модели не могут прийти к какому-либо заключению. В последнем случае модели нужно переобучить или доработать. Следовательно, приоритетом ИТ-руководителя должно стать формирование компании, в которой грамотно работают с данными.

- Какие способы оптимизации инфраструктуры данных вы считаете наиболее эффективными?

Принцип номер один: принимая решение о хранении данных на платформе конкретного поставщика, вы должны продумать, как избежать его блокировки. Сегодня на рынке предлагаются как традиционные платформы (Teradata, Netezza, Oracle и пр.), так и облачные. Более того, организации могут хранить в облаке все свои данные, достаточно лишь выбрать инструменты, которые позволят управлять размещением  информации  и доступом к  ней  на нескольких облачных платформах. Некоторые крупные европейские банки используют сервисы трех облачных поставщиков. Если есть возможность задействовать  нескольких  провайдеров, надо ею воспользоваться, хотя это не всегда удается. В любом случае в составе инфраструктуры нужно иметь платформы для работы с критически важными данными. Крайне важно, чтобы эти платформы справлялись с сезонными и другими колебаниями транзакционной нагрузки.

- Многие клиенты пытаются обрабатывать и анализировать потоки данных. Нужно ли им кардинально менять свою ИТ-инфраструктуру? И есть ли способы обновления ИТ-инфраструктуры без «глобальных» изменений?

На этот вопрос нет однозначного ответа, поскольку надо понимать, что собой представляет ИТ-инфраструктура организации и какие бизнес-цели  стоят  перед сотрудниками. Так, предприятия, желающие создать озеро данных, чтобы объединить несколько разрозненных активов данных в масштабируемом репозитории для их  последующего  анализа, обычно настаивают на «глобальных» изменениях в инфраструктуре, но иногда можно выполнить «легкое»  обновление —  например, оптимизировав существующую облачную инфраструктуру. Кроме того, многие  организации  стремятся создавать потоковые каналы и обеспечивать обмен данными приложений внутри собственной сети, чтобы анализировать их в режиме реального времени.  Наша компания помогает  своим клиентам найти правильное решение для получения большей выгоды от имеющихся у них данных с опорой на уже сделанные  инвестиции. Мы  выстраиваем наши продукты семейства Syncsort Connect так, чтобы упростить интеграцию новых технологий в уже существующую ИТ-инфраструктуру, предоставляя возможности для создания потоковых каналов и более полного использования потенциала корпоративных данных.

- Количество источников данных, похоже, будет расти, и в ходе их интеграции наверняка возникнет проблема увеличения вариативности данных и, как следствие, усложнения систем. Что можно  сделать  с  этим? 

Мы уже видим, как предприятия буквально тонут в данных, поскольку число их источников за последние годы резко выросло, к тому же появились потоки и озера данных. Некоторые организации взяли стратегический курс на облака как приоритетные вычислительные среды, а другие твердо намерены хранить конфиденциальные данные внутри компании. Есть те, кто выбирает стратегию гибридного облака или использует облачные среды для архивных данных, чтобы предоставить их по первому требованию регуляторов.

Лучший способ подготовиться к росту числа  источников —  сосредоточиться на обеспечении качества данных до их отправки в облако, блокчейн и другие ресурсы для размещения, а также  убедиться в том,  что имеющиеся у вас системы очистки, обогащения и преобразования данных способны в достаточной степени масштабироваться.

- Какие проблемы станут наиболее важными с точки зрения управления данными в обозримом будущем?

Как уже  было сказано,  все большее значение придается качеству  данных. Необходимо гарантировать достаточно высокое качество  и  всей той информации,  что хранится на множестве унаследованных платформ, размещается на новых и используется для анализа в реальном  времени.  Кроме того, нужно обратить внимание на выполнение требований в отношении корпоративного управления  данными  и на  работу с метаданными, а также исключить  дублирование  информации. 

Еще одна проблема состоит в том, что ИТ-руководителям приходится решать сложнейшую задачу:  они должны  создать корпоративную инфраструктуру, которая, с одной стороны, способна противостоять серьезным угрозам, обеспечивая сохранность и безопасность критически важной информации, а с  другой —  демонстрировать высокую доступность данных и предоставлять широкие возможности для бизнес-аналитики. Многие организации инвестируют немалые средства в защиту от вирусов и вредоносных программ, управление обновлениями и исправлениями, обнаружение и предотвращение вторжений, а также в обучение сотрудников. Большое влияние на проекты в области управления данными окажут Общий регламент по защите персональных данных (GDPR), принятый ЕС в прошлом году, и Калифорнийский закон о конфиденциальности данных потребителей (CCPA), вступающий в силу в январе 2020 года. В связи с этим еще  большее  значение приобретают инструменты, способные сканировать данные с целью выявления в них конфиденциальной информации.

Интеграция Hitachi Vantara и Hitachi Consulting позволит предложить заказчикам уникальные возможности для реализации цифровых преобразований

Компания Hitachi Vantara, дочернее предприятие Hitachi, Ltd., объединена с компанией Hitachi Consulting. Цель интеграции — максимальное содействие в создании конкурентных преимуществ предприятиям, нацеленным на цифровое преобразование, стимулирование международного развития, а также внедрение социальных, экологических и экономических инноваций.

«Огромный поток данных и развитие новых технологий коренным образом меняют деятельность компаний и целых отраслей во всем мире, — считает Тошиаки Токунага (Toshiaki Tokunaga), исполнительный директор и председатель правления Hitachi Vantara. — Благодаря этой интеграции мы получим уникальные возможности, необходимые заказчикам для реализации цифровых преобразований».

Так, Hitachi Vantara предложит инновационные отраслевые практики по нескольким индустриальным направлениям, объединяющим ряд консалтинговых методик. Эти практики, реализуемые на основе платформы Hitachi Vantara Lumada Manufacturing Insights, позволят предприятиям повысить качество обслуживания клиентов, расширить возможности кастомизации продукции, создать новые бизнес-модели и обеспечить устойчивость бизнеса. Платформа позволяет интегрировать все разрозненные массивы производственных данных предприятия и применять технологии искусственного интеллекта и машинного обучения для оценки и повышения общей эффективности оборудования.

Исполнительным директором и председателем правления Hitachi Vantara назначен Тошиаки Токунага (Toshiaki Tokunaga), он проработал в Hitachi 30 лет и провел ряд успешных преобразований в нескольких бизнес-подразделениях корпорации

Комплекс решений Hitachi Vantara разработан на основе продуктов, охватывающих все компоненты инфраструктуры — от граничных вычислений до традиционных центров обработки и облаков. В этот комплекс включена и платформа Hitachi Virtual Storage Platform (VSP) 5000 — новый массив хранения данных с самым высоким в мире быстродействием. Комплекс также включает решения на основе искусственного интеллекта, средства аналитики, облачные сервисы для модернизации приложений, сервисы интеграции систем и управления изменениями для внедрения и переноса систем ERP на базе модели SaaS, а также цифровые промышленные решения на платформе Lumada.

Hitachi Vantara будет играть ключевую роль в реализации среднесрочного плана организационной деятельности корпорации Hitachi на 2021 год. Он основан на концепции сочетания продуктов и экспертного опыта Hitachi в промышленной и ИТ-сфере для создания новых преимуществ для бизнеса и решения социальных проблем.

Согласно результатам оценки поставщиков объектных систем хранения данных, приведенным в отчете «IDC MarketScape: Worldwide Object-based Storage 2019 Vendor Assessment» компания Hitachi Vantara, дочернее предприятие Hitachi, Ltd., снова вошла в категорию лидеров.

В ходе подготовки отчета эксперты IDC оценили 13 ведущих поставщиков объектных систем хранения. Оценка проводилась с учетом стратегии развития продуктов и функциональных возможностей решений. На основе этих факторов был составлен рейтинг, отражающий результативность производителей сегодня и в перспективе, а также их способность представлять успешные решения для объектных СХД.

«Платформа Hitachi Content Platform (HCP) предлагает заказчикам возможности для постепенного повышения ценности и монетизации данных. Так, наряду со средствами обогащения и защиты данных она обеспечивает гибкость инфраструктуры, — считает Амита Потнис (Amita Potnis), руководитель исследований в области файловых и объектных СХД компании IDC. — Hitachi Vantara продолжает обновлять комплекс решений HCP, расширяя поддержку рабочих нагрузок благодаря способности платформы распределять данные по уровням в любых средах хранения, будь то флэш-накопители, дисковые, ленточные, оптические устройства или общедоступные облачные сервисы. Это серьезно укрепляет позиции компании на рынке объектных хранилищ».

Разработанный Hitachi Vantara комплекс решений Hitachi Content Platform (HCP) предоставляет возможность выбирать предложения, соответствующие требованиям организации, и создавать масштабируемые и адаптируемые полнофункциональные системы. Программно-аппаратная платформа HCP в сочетании с решением HCP for Cloud Scale способна обеспечить поддержку как традиционных приложений, так и работающих на базе новых технологий: Интернета вещей, искусственного интеллекта и машинного обучения.

«Решения для хранения данных на базе объектных хранилищ пользуются огромным спросом, поскольку позволяют справиться с рядом важнейших задач по управлению данными, стоящих перед компаниями. В их числе такие задачи, как организация уровней хранения, защита данных, управление данными в гибридных и мультиоблачных средах, а также общее корпоративное управление информацией, — отметил старший директор по маркетингу продуктов Hitachi Vantara Скотт Бейкер (Scott Baker). — Компания Hitachi, в четвертый раз подряд ставшая лидером среди производителей объектных СХД, продолжает удерживать ведущие позиции на рынке, благодаря которым заказчики могут модернизировать стратегии хранения, защиты и доступа к данным в эпоху DataOps».

Hitachi Content Platform позволяет обеспечить интеллектуальное хранение, пополнение, активацию и монетизацию корпоративных данных. HCP предусматривает высокую масштабируемость и линейную производительность, интеллектуальное управление данными, обеспечение нормативно-правового соответствия и автоматизацию эксплуатации, при этом ее стоимость владения оказывается ниже, чем у аналогичных систем. Комплекс решений HCP объединяет в себе объектную СХД, средства синхронизации и совместного использования файлов, шлюзы к облачному хранилищу и развитые средства поиска и анализа данных. Все это позволяет создавать на основе HCP простую в экплуатации интеллектуальную интегрированную облачную систему хранения. Уже более 2500 организаций по всему миру выбрали платформу Hitachi Content Platform в качестве хранилища данных для облачных систем и приложений.

В рамках конференции Hitachi NEXT 2019 обсуждались не только технолонические новинки, но и этические проблемы, встающие перед ИТ-индустрией

Третья конференция Hitachi NEXT 2019 прошла в Лас-Вегасе с 7 по 11 октября. Hitachi Vantara представила на мероприятии новые технологические решения и стратегию развития в области социальных инноваций, а также провела дискуссии по важным технологическим и этическим вопросам, связанным с цифровыми преобразованиями.

Ежегодная конференция прошла под лозунгом «Powering Good/Power of Good». Смысл лозунга целиком раскрывало вступительное слово президента и исполнительного директора Hitachi Тошиаки Хигашихары: «Мы хотим сделать мир вокруг нас ярче и лучше, хотим внести свой вклад в жизнь общества, разработав качественные продукты. Мы называем это социальными инновациями и выстраиваем свой бизнес так, чтобы продвигать экологические и экономические ценности, используя наши цифровые возможности».

Слова Тошиаки Хигашихары нашли подтверждение в примерах использования технологий Hitachi, которые изменили жизнь обычных людей. Вот лишь некоторые примеры: высокоскоростные поезда в пригородах Лондона значительно сократили время поездок; разработки Hitachi в области данных позволили American Heart Association создать платформу точной медицинской разработки и сделать работу с огромным количеством данных более эффективной в области предотвращения сердечных заболеваний.

Тошиаки Хигашихара уделил особое внимание тому, что инновации быстрее распространяются и принимаются обществом, если есть процесс совместного создания (cocreation), в который вовлечены партеры и заказчики: вместе легче воплощать в жизнь стратегию «Powering good», которая приносит преимущества от внедрения инновационных технологий бизнесу и обществу в целом.

Тошиаки Хигашихары: «Мы хотим сделать мир вокруг нас ярче и лучше, хотим внести свой вклад в жизнь общества, разработав качественные продукты»

Первый день конференции был посвящен новинкам продуктовой линейки Hitachi Vantara: компания представила набор программных сервисов Lumada Data Services, обеспечивающий экономически эффективное управление активами структурированных и неструктурированных данных в ЦОД. Также на конференции рассказали о Lumada Data Lake — инновационном самооптимизирующемся озере данных, которое регулирует их объёмы и делает доступными для анализа. Кроме того, был представлен новый набор программного обеспечения и периферийных аппаратных устройств Lumada Edge Intelligence.

Среди новинок особенно активно обсуждалась система хранения данных Hitachi VSP 5000, которая позволяет применять искусственный интеллект уже на уровне загрузки данных, а также на уровне их хранения. Это новое высокопроизводительное решение для инфраструктуры хранения с высокой ёмкостью и скоростями, которые могут заменить огромные массивы существующих ЦОД. VSP 5000 обладает всеми интеллектуальными возможностями, чтобы гарантировать оптимизацию систем, обеспечивая при этом упреждающую и прогнозирующую поддержку для повышения надежности. Однако более интересным является тот факт, что VSP 5000 представляет собой масштабируемую модульную платформу хранения, разработанную с использованием сверхбыстрой сети на основе PCI-E для соединения узлов. Эта система может смешивать и сочетать разные технологии, такие как HDD, SSD и флэш-память на основе NVMe.

Одним из самых впечатляющих моментов конференции стало известие о партнёрстве Hitachi Vantara с Disney Parks

В рамках конференции обсуждались и этические проблемы, встающие перед ИТ-индустрией, а также необходимость обеспечения безопасности работы с данными на технологическом уровне. Так, Брайан Хаусхолдер в своём выступлении упоминал, что Hitachi уже использует с рядом клиентов лидары — датчики движения, которые, однако, маскируют черты лица и дают только пиксельное изображение человека. Такая технология позволяет анализировать информацию о потоках людей, например, в аэропорту, не затрагивая персональные данные пассажиров. Результаты работы лидаров можно было наблюдать и на самой конференции. Их использование позволило показывать перемещение участников конференций, посещаемость выставки и сессий в реальном времени и транслировать информацию на экраны. Участники конференции могли видеть, где наблюдаются большие скопления людей (например, во время демонстраций решений или в обеденном перерыве) и экономить свое время, выбирая места с меньшими очередями и потоками. Простой, но очень эффективный метод позволил сделать посещение конференции удобным и продуктивным.

Одним из самых впечатляющих моментов конференции стало известие о партнёрстве с Disney Parks: Hitachi Vantara выступила официальным провайдером аналитических услуг для аттракционов Disneyland Resort и Walt Disney World Resort во Флориде. «Мы размещаем IoT-датчики в аттракционах и используем платформу Lumada, чтобы консолидировать данные от них и затем сохранить на массивах VSP», — рассказал о комплексном решении для Disney директор по маркетингу Hitachi Vantara Марк Адамс.

В январе 2020 года произойдёт слияние Hitachi Vantara с Hitachi Consulting, что позволит объединить наработки Hitachi Vantara с промышленным опытом Hitachi Consulting

На данный момент к платформе подключено несколько основных аттракционов, но в будущем планируется подключить все и затем и распространить технологию по паркам от Парижа до Шанхая. Уже сейчас благодаря данным о трении и вибрациях в оборудовании Disney Parks получили ощутимый экономический эффект, снизив стоимость техподдержки на более чем 30%. Помимо этого, Disney станет ключевым заказчиком Hitachi по направлению Smart Spaces, что позволит значительно оптимизировать потоки гостей и сократить время ожидания на аттракционах.

В январе 2020 года произойдёт слияние Hitachi Vantara с Hitachi Consulting, что позволит объединить интеллектуальную базу Hitachi Vantara с промышленным опытом Hitachi Consulting. Новым генеральным директором Hitachi Vantara станет Тошиаки Токунага, председатель правления Hitachi Global Digital Holdings. «Двигаясь вперед, новая компания Hitachi Vantara будет продолжать развивать самые передовые инновации», — отметил Тошиаки Хигашихара на конференции NEXT 2019.

Роман Павлов: «Перед компаниями стоят две основные задачи: как эффективно хранить данные и как последовательно извлекать из них выгоду»

Современный бизнес вынужден уделять пристальное внимание аналитике данных. Компании хотят тщательно отслеживать и прогнозировать рыночную ситуацию как в масштабах макроэкономики, так и внутри экосистемы партнеров и клиентов. Именно в этом большие данные могут оказать неоценимую помощь. О выборе решения, источниках данных и основных тенденциях рассказывает Роман Павлов, архитектор аналитических решений Hitachi Vantara.

— Нужна ли современным компаниям аналитика данных?

Анализ больших данных становится повседневным для российских компаний. Так, девять из десяти отечественных предприятий сталкиваются с необходимостью использования аналитики. Она становится наиважнейшей задачей для удержания позиции на рынке и дальнейшего развития бизнеса. И нужно понимать, что речь здесь идет не об отдельных преимуществах для компании, а вообще о ее выживании.

— Для чего компании используют аналитику данных?

Компании используют результаты аналитики данных для внутренних процессов, например, стратегического планирования, управления финансовыми и операционными рисками, оптимизации бизнес-процессов и мониторинга основных показателей деятельности. Основные причины, побуждающие компании инвестировать в аналитику больших данных — оптимизация бизнес-процессов и их углубленный анализ, улучшение качества обслуживания клиентов, сокращение издержек производства и сбыта.

— Как часто компании подключают новые источники данных?

По данным совместного исследования компании IDC и Hitachi Vantara, в подавляющем большинстве современных компаний новый источник данных подключается раз в три месяца, при этом 25% респондентов заявили, что подключают больше одного источника в месяц.

В нашу повседневную жизнь медленно, но уверенно входят умные колонки, умные розетки и электрические счетчики. Перемены в бизнесе идут гораздо быстрее, в будущем мы ожидаем все больше потоков данных с граничных устройств, датчиков на транспортных средстваах, промышленных конвейеров, других устройств, задействованных в производстве. «Умные» конвейеры, «умные» буровые и другие «умные«объекты будут генерировать основной объем данных предприятия.

— В чем, по вашему мнению, заключаются основные сложности в использовании больших данных в бизнесе?

Перед компаниями стоят две основные задачи: как эффективно хранить данные и как последовательно извлекать из них выгоду. Соответственно, большинство проблем, с которыми сталкиваются организации, связаны с процессом решения этих задач.

Большие данные в современном мире трансформируются в «быстрые» данные — те, что поступают не только в большом объеме, но и в режиме реального времени, причем в различных форматах. Интеграция источников данных из различных систем будет актуальной задачей по мере расширения цифрового взаимодействия с партнерами и заказчиками. При выборе решения нужно обратить внимание на способность работать с разрозненными системами и данными различного формата. Только 7% процессов компаний могут добавлять новые источники информации без привлечения ИТ–специалистов. Решения, которые планируются к внедрению, должны соответствовать вызовам времени и предлагать возможность подключения новых источников с минимальными затратами без потери качества данных и надежности системы. Большинство компаний (60%) осознают эту проблему и указывают простоту использования решения для анализа больших данных в качестве одного из важнейших факторов при выборе продукта.

— С чего нужно начинать проекты по анализу данных? Какие обязательные элементы они должны включать?

Начинать проекты сбора и анализа больших данных лучше всего с вовлечения бизнес-подразделений в постановку задачи — это позволит правильно расставить приоритеты и выделить необходимые источники данных для интеграции.

Для эффективной аналитики предприятие должно создать инфраструктуру для работы с данными: подготовить программное обеспечение для их интеграции, формализовать процедуру доступа к данным, наладить процесс развертывания решений.

Одной из главных задач в области обработки больших данных является безопасность и защита персональных данных. Этому тоже стоит уделить особое внимание. К примеру, платформа Pentaho Business Analytics предоставляет возможность «в один клик» выделять подмножество данных, необходимое для решения задачи или ответа на вопрос, из основного массива данных. Это дает бизнесу контроль над данными, не сковывая сотрудников в проверке новых идей и тестировании гипотез.

— Как управлять растущими объемами данных и как использовать их с максимальным эффектом для бизнеса?

Необходимо объединить источники и представить их на единой платформе пользователям, которые будут извлекать из них ценную информацию. Это касается как существующих источников, так и появляющихся по инициативе бизнес- или ИТ-пользователей.

Единая платформа позволяет значительно сократить время на подготовку данных к анализу. Она обеспечивает рост пользователей аналитических решений в компании благодаря доступности информации, а также способствует взаимодействию между различными подразделениями, а также с партнерами за счет доступа к единому набору данных. Все это ускоряет цифровую трансформацию, обеспечивая цифровое взаимодействие внутри компании.

Каждый из вышеперечисленных факторов говорит в пользу платформы, которая обеспечивает интеграцию различных источников и возможность получить быстрый инсайт из анализируемой информации для принятия решений.

Мировые лидеры в использовании аналитики идут еще дальше и внедряют модели «самообслуживания» для анализа данных. Происходит расширение состава сотрудников, способных обращаться в своей работе к актуальной информации, самостоятельно выбирать анализируемые источники и формат конечных результатов. Пользуясь простым инструментом соединения данных из различных источников и визуальным «построителем» отчетов, сотрудники различных департаментов могут получать ответы на возникающие в процессе работы вопросы. Это позволяет каждому сотруднику принимать решения в своей области ответственности, опираясь на достоверные данные из хранилища. По данным Gartner в области аналитики самообслуживания, Pentaho Business Analytics от компании Hitachi Vantara является одним из лидеров рынка.

— Сможете привести пример интересного кейса, связанного с аналитикой данных?

Да, конечно. Например, в Ирландии Hitachi Vantara реализовала совместно с электрической компанией проект по использованию умных счетчиков для повышения качества жизни пожилых людей. Очень часто одинокие пожилые люди становятся жертвами внезапного приступа болезни или потери ориентации и не могут позвать на помощь. Анализ данных с электрических счетчиков позволял определить моменты, когда человеку могла понадобиться помощь. Например, не включенная утром в обычное время кофеварка или кухонная плита являлись сигналом для уведомления. Оно приходило к родственникам человека с предложением позвонить и узнать, все ли в порядке. Этот проект, помимо популяризации умных счетчиков и повышения их продаж, дал электрической компании возможность позиционировать себя как социально ответственную. Таким образом, аналитика уже не просто увеличила ее прибыль или сэкономила издержки, но и сделала известной, укрепив репутацию на рынке.