Шина InfiniBand обеспечит пропускную способность 200 Гбит/с, это позволит ускорить работу платформ машинного обучения и высокопроизводительных вычислений (High Performance Computing, HPC).

«Поскольку новые серверы, оборудованные графическими процессорами, имеют высокую вычислительную мощность, требуется увеличенная пропускная способность сети, – пояснил аналитик Dell’Oro Group Самех Буджельбене. – Внедрение подобных систем, предназначенных для приложений машинного обучения, идет сейчас очень быстрыми темпами».

Шина HDR InfiniBand, которая будет использоваться в следующем году в трех группах продуктов Mellanox Technologies, обеспечивает пропускную способность в два раза больше, чем InfiniBand. Во столько же раз она опережает по скорости и наиболее производительные интерфейсы Ethernet.

Однако количество потенциальных клиентов, которым понадобится новая технология, пока относительно невелико. По оценкам Буджельбене, к их числу относятся только 10% пользователей InfiniBand с пропускной способностью 100 Гбит/с.

Сами по себе решения на базе технологии InfiniBand составляют лишь малую часть сетей ЦОД. Сегодня менее 5% всех серверных контроллеров и адаптеров поддерживают InfiniBand. Шина Omni-Path с пропускной способностью 100 Гбит/с, появившаяся после приобретения корпорацией Intel бывшего поставщика InfiniBand, компании QLogic, занимает еще меньшую долю. Большинство использует Ethernet.

Отличие InfiniBand от Ethernet заключается в минимизации и предсказуемости задержек. Для высокопроизводительных вычислений, в ходе которых, как правило, выполняются задачи, имеющие итерационный характер, такие возможности имеют очень важное значение. «Каждая задержка при выполнении очередной итерации повторяется тысячи раз, поэтому нужно сводить их к минимуму, – пояснил вице-президент Mellanox по маркетингу Гилад Шайнер. – Современные системы высокопроизводительных вычислений, скорее всего, будут поставляться уже с InfiniBand. Более 200 систем, вошедших в обновленный список суперкомпьютеров Top500, уже используют эту шину при организации внутренних межсоединений. Она применяется также в машинном обучении, при обработке Больших Данных, в финансовой сфере, для обнаружения случаев мошенничества и в других приложениях».

Семейство продуктов HDR InfiniBand имеет все необходимое для организации в ЦОД сквозных каналов передачи данных с пропускной способностью 200 Гбит/с. Можно назвать адаптеры Mellanox ConnectX-6, коммутаторы Quantum, а также кабели и трансиверы LinkX.

Адаптеры можно подключать к серверам с любой процессорной архитектурой, включая x86, Power и ARM. Коммутатор, имеющий 40 портов InfiniBand с пропускной способностью 200 Гбит/с или 80 портов с пропускной способностью 100 Гбит/с, имеет общий уровень производительности 16 Тбит/с

О необходимости законодательного регулирования работы с Большими Данными в России заговорили нынешним летом, когда стало известно об инициативе Роскомнадзора по созданию «национального оператора Больших Данных». Чтобы сформировать консолидированную позицию индустрии по вопросам регулирования сбора, обработки и обмена Большими Данными, по инициативе Института развития Интернета была создана рабочая группа по Большим Данным.

На ее первом открытом заседании Герман Клименко, советник президента РФ и председатель совета ИРИ, отметил, что определенная форма регуляторики Больших Данных в стране неизбежна, но нужно, чтобы эти процессы происходили с учетом мнения сообщества профессионалов и участников рынка. «Мы должны подключаться с самого начала, чтобы разрабатываемые законы учитывали позицию индустрии. Иначе может получиться как с 'законом Яровой', когда нам остается только разбираться с последствиями», — сказал Клименко.

По его словам, первоочередная задача рабочей группы – прийти к согласованной позиции в отношении терминологии, основных видов данных, задач их обработки и необходимости контроля со стороны государства. Только придя к консенсусу, группа сможет добиться результатов, «просвещая» законодателей и прессу, и оказывать реальное влияние на государственных деятелей, которые будут заниматься вопросами регулирования Больших Данных.

Как выяснилось, между основными представителями индустрии – банками, операторами связи, интернет-компаниями – существуют противоречия в трактовке темы, поэтому в качестве площадки для работы группы была выбрана нейтральная организация, Координационный центр национальных доменов. ru и. рф, а руководителем группы стал заместитель директора КЦ Сергей Копылов.

Принявший участие в заседании заместитель министра связи и массовых коммуникаций Алексей Соколов предложил рабочей группе сконцентрироваться на обсуждении трех категорий данных. Первая – персональные данные, на которые распространяется действие известного ФЗ-152, охарактеризованного Соколовым как один из самых современных и совершенных законов о персональных данных в мире. Тем не менее жизнь не стоит на месте, и нужно проанализировать, какие данные могут быть выведены из-под строгих положений закона и какие в связи с этим могут потребоваться корректировки в нормативно-правовой базе.

Вторая категория – большие массивы обезличенных данных, которые появляются после обработки персональных, например, данные о предпочтениях определенных социальных групп. Работа с данными этого типа, по словам Соколова, дает экономический эффект в целом ряде областей, например в электронной торговле. И третья группа – данные Интернета вещей, которые в большинстве случаев нельзя отнести к персональным. Однако из этих данных также можно извлечь информацию об их владельцах, и они представляют большой коммерческий интерес.

И не только коммерческий. Участник рабочей группы Дмитрий Петров, директор по связям с законодательной и исполнительной властью компании «МегаФон», отметил, что машинные данные могут использоваться в предотвращении преступлений, и такого рода технологии будут гораздо эффективнее, чем меры, предусмотренные «законом Яровой», которые предписывают только накапливать данные. Но чтобы иметь возможность пользоваться данными Интернета вещей в различных целях, нельзя их закрывать – государство, наоборот, должно способствовать их сбору и обработке.

Представители индустрии считают, что вместо традиционного регулирования со стороны государства в отношении обезличенных и машинных данных необходимо партнерство между государством и бизнесом. Как отметил Петров, по этому пути уже идут страны Евросоюза, где создан некоммерческий консорциум с участием Еврокомиссии, отвечающий за научную и экономическую повестку в области Больших Данных. Похожий подход в отношении Больших Данных выбирает даже Китай, власти которого известны жестким отношением к вопросам регулирования Интернета.

Участники заседания согласились с тем, что российскому рынку Больших Данных нужна модель саморегулирования – необходимо собственными силами вырабатывать общую терминологию и договариваться о стандартах, а затем выходить с консолидированными предложениями к законодателям.

В итоге заседания было решено сформировать в рамках рабочей группы подгруппы по различным направлениям деятельности. Некоторые из них были определены сразу, это подгруппы, отвечающие за создание единого глоссария, определение субъектов обработки Больших Данных и уровней доступа к ним, безопасность хранения и передачи Больших Данных. Остальные подгруппы будут формироваться позже.

Промежуточные результаты деятельности рабочей группы планируется раз в три месяца обсуждать на совещании у советника президента РФ, и на их основе будут готовиться предложения для подготовки законодательных актов.

Компания Cisco Systems представила платформу Tetration Analytics, предназначенную для анализа происходящих в ЦОД процессов на основе мониторинга пакетов, потоков и быстродействия передачи данных между компонентами ИТ-инфраструктуры.

Tetration Analytics, инструмент комплексного мониторинга работы ЦОД, визуализирующий собранные сведения о его работе, значительно упрощая понимание ситуации, устраняет необходимость в разрозненных системах и «ручной» корреляции их данных, подчеркнул Александр Скороходов, системный инженер-консультант московского офиса Cisco.

Ядром новой платформы служит кластер, состоящий из 36 серверов Cisco UCS C220 Rack Server и трех коммутаторов Nexus 9372PQ.

Программное обеспечение кластера основано на аналитических технологиях Больших Данных (в математике термин tetration обозначает итерационную функцию экспоненты; используется для описания очень больших чисел. — А. Ч.). В его состав входят компоненты с открытым кодом — в частности, «движок» обработки объемных массивов данных Apache Spark, система обмена сообщениями между приложениями Больших Данных Apache Kafka, распределенная система хранения Apache Druid. Организующее их совместную работу ПО содержит алгоритмы машинного обучения и является собственной разработкой Cisco.

Новая платформа, работающая в режиме, близком к реальному времени, способна обрабатывать более миллиона уникальных событий в секунду. Она обеспечивает долгосрочное хранение полученной информации и, как утверждают в Cisco, может менее чем за секунду извлекать из озера данных, содержащего десятки миллиардов записей о событиях, нужные сведения, обрабатывать и возвращать их обратно.

Tetration Analytics визуализирует собранные аппаратными и программными датчиками сведения о работе ЦОД Источник: Cisco

Источниками информации, наполняющими это озеро, служат программные и аппаратные датчики. Разработанные в Cisco программные сенсоры устанавливаются в физических серверах и виртуальных машинах.

«Программные сенсоры помогают определить, какими процессами и приложениями формируются потоки данных», — пояснил Скороходов. В первом выпуске Tetration Analytics поддерживаются серверы, на которых установлены Linux и Windows.

Аппаратные сетевые датчики, «зашитые» в специализированные микросхемы коммутаторов Nexus 9200, 9300-EX и 9500-EX, получают информацию из всех их портов, характеризующую быстродействие каналов передачи данных.

Аналитическая платформа обеспечивает наилучшую «видимость» процессов в тех ЦОД, где установлено сетевое оборудование Cisco, в других же случаях сбор данных осуществляется только программными сенсорами, и эффективность работы системы снижается.

Предусмотрена также возможность сбора метаданных из продуктов других производителей: источниками информации могут служить выпускаемые ими балансировщики нагрузки, списки опасных IP-адресов, системы геолокации. Первыми партнерами Ciscо стали компании Infoblox, ServiceNow, Tufin и vArmour.

Открытая архитектура и API новой платформы, подчеркивают в Cisco, упрощают интеграцию и совместное использование Tetration Analytics с другими решениями.

Tetration Analytics позволяет непрерывно проводить мониторинг, сбор данных и анализ происходящих в ЦОД процессов, оперативно выявлять нюансы поведения, а также осуществлять «криминалистический» анализ приложений (application forensics).

Платформа обеспечивает достижение соответствия примененным политикам, а ее средства моделирования дают возможность оценить эффект и последствия использования новых политик до их реального внедрения.

Еще одно весьма полезное свойство Tetration Analytics — способность выявлять взаимозависимости приложений, работающих ЦОД, а также в ЦОД и облаках, полагают в Cisco. Использование Tetration Analytics совместно с системой Cisco CloudCenter в центрах обработки данных, построенных на основе ориентированной на приложения инфраструктуры Cisco ACI (см. «‘Connect’ с партнерами и заказчиками», Computerworld Россия, 24 ноября 2014), предоставляет возможность автоматизировать распределение рабочих нагрузок между ЦОД и облаками, утверждают в компании.

Эксперты подчеркивают способность платформы мониторинга своевременно сообщать ИТ-персоналу о возможных неполадках в работе приложений, так как в настоящее время большая часть сведений об их возникновении поступает от конечных пользователей.

На разработку Tetration Analytics ушло два года, и велась она, как уже делалось раньше, выделенным из Cisco стартапом. Аналитики ZK Research полагают, что создание платформы свидетельствует о намерении Cisco взяться за освоение очередного «смежного», в данном случае аналитического рынка.

В настоящее время Tetration Analytics рассчитана на ИТ-инфраструктуру, содержащую десятки тысяч серверов. В дальнейшем ожидается появление конфигурации платформы меньшего масштаба; также возможно ее размещение в облаке. Это должно снизить стоимость и повысить доступность аналитической платформы.

Как сообщили в московском офисе Cisco, несколько организаций уже запросили подробную информацию о новом решении. Тем не менее в компании понимают, что временной разрыв между объявлением новых продуктов и их приобретением российскими заказчиками достаточно велик.

Мировой рынок когнитивных систем и технологий искусственного интеллекта вырастет с 8 млрд долл. в 2016 году до 47 млрд с лишним в 2020-м, полагают аналитики IDC. Системы такого рода уже начинают применяться компаниями и разработчиками практически всех корпоративных приложений.

В ближайшее время наиболее перспективным выглядит применение когнитивных систем в банковской отрасли, в инвестициях и торговле ценными бумагами, а также в производстве, считают аналитики. Именно в этих отраслях сочетается наличие больших объемов неструктурированных данных, стремление извлечь из них полезную информацию и открытость для инновационных технологий.

По объему инвестиций в когнитивные системы и искусственный интеллект в 2016 году лидируют банки и торговые компании. За ними следуют медицина и дискретное производство. В сумме на эти четыре сектора приходится больше половины мирового объема продаж.

Почти половину объема продаж приходится на программное обеспечение, включающее в себя как когнитивные приложения (средства анализа текста и мультимедийных материалов, поиска, категоризации и так далее), так и когнитивные платформы для разработки интеллектуальных решений. К 2020 году объем продаж когнитивных приложений достигнет 18,2 млрд долл., считают аналитики.

Скорые (Agile) методики приобрели такую популярность, что неудивительным становится желание строить на них свою маркетинговую политику. Главной темой на недавнем форуме Teradata 2016 стало использование agile-подходов в процессах аналитики.

«Agile – не только новый подход к реализации проектов, это в первую очередь переворот в мышлении и культуре организации. Не все готовы к тому, что быстрая реакция на изменения ценится гораздо больше, чем умение следовать плану», — заявил Стивен Бробст, главный технический директор Teradata. По его словам, эти методики действительно работают — процессы становятся более гибкими. Более того, иногда имеет смысл формировать гибридные методики, например Scrumban (сочетание Scrum и Kanban), этот подход используется внутри Teradata.

Быстрота реакции лежит в основе и новой концепции «чувствующего предприятия» (Sentient Enterprise), продвигаемой Teradata. Она представляет организацию как единый организм, который воспринимает окружающий мир: компания должна чувствовать сигналы внешней среды, адекватно реагировать на получаемые данные.

Николай Трошин, начальник отдела управления данными МТС, считает, что многие процессы можно позаимствовать из agile-методик: «Вот уже год мы работаем по методике Scrum: спринты, итерации, инкрементации, фокус на результат», — говорит он. При этом надо понимать, что само по себе внедрение скорых методик – тоже agile-проект, сразу его реализовать не получится, необходимо несколько итераций. Действительно, Scrum «с ходу» не ложится на аналитические процессы, так как изначально ориентирован на разработчиков, однако его вполне можно адаптировать.

По мнению Трошина, скорые методики хорошо сочетаются с культурой использования открытых платформ. «Надо обязательно пробовать открытые решения, а если не получается – переходить на коммерческие продукты. Мы сочетаем эти подходы», — сообщил Трошин.

Сбербанк в марте 2016 года также начал масштабный проект agile-трансформации. Однако банк вынужден балансировать между инновационностью и консерватизмом, в первую очередь по причине высокой ответственности: то, что происходит в его стенах, касается практически всех, с ним приходится иметь дело почти всей стране.

«Мы принимаем участие во многих инновационных проектах, включая блокчейн, но крайне осторожно подходим к их продуктивному использованию. Далеко не все инноваторы могут похвастаться прибылью, инвестиции в непроверенные технологии очень рискованны», — подчеркнул Сергей Адаменко, вице-президент и директор по данным Сбербанка.

В нынешнем году в Сбербанке создано подразделение по работе с данными и фабрика данных. Но главное – работа с данными превратилась в отдельный вид профессиональной деятельности. Большие Данные дали ощутимый эффект в плане борьбы с мошенничеством. Второе важное направление работ – корректность маркетинговых акций: в банке прекрасно осознают, что навязчивая реклама способна отвратить даже лояльного пользователя. «Я извиняюсь перед теми, кому одни и те же предложения демонстрировались несколько раз. Это означает, что создаваемые нами модели еще не достигли идеала», — признался Адаменко.

Наконец, речь идет об оптимизации портфеля услуг. Управлять таким их количеством тяжело, тем более что далеко не все они прибыльны. Банк намерен радикально снизить число ИТ-систем и к 2018 году иметь совершенно другой ландшафт решений.

Дмитрий Первухин, начальник управления обработки данных и формирования отчетности ВТБ24, рассказал о планах переноса корпоративного хранилища Teradata в облако. За семь лет строительства хранилища данных появились серьезные вызовы — гигантские объемы данных стали влиять на производительность систем. Крайне важное значение приобрели регламенты загрузки данных, любой сбой в них влияет на ежедневную работу пользователей, критичные приложения могут конкурировать за ресурсы с пользователями. Кроме того, мощностей решения заметно не хватает в период пиковых нагрузок, а в остальное время много их простаивает.

Поправить дело должен переход в частное облако – не гибридное и не публичное из-за требований законодательства, а также из-за необходимости сохранить инвестиции в существующие решения. Резервный комплекс, призванный обеспечивать непрерывность бизнеса, не используется, если нет кризисной ситуации, но требует регулярных инвестиций. Частное облако должно объединить ресурсы основного и резервного комплексов, образовав единый пул ресурсов. При этом достигаются такие свойства облачных сред, как эластичность – выделение ресурса в момент обращения – и тарификация услуг на основе только фактически использованных ресурсов.

Технологии Интернета вещей способны уже в краткосрочной перспективе повысить эффективность бизнес-процессов в промышленности, сельском хозяйстве и в социальной сфере, но для этого потребуются значительные усилия как со стороны руководителей предприятий, так и со стороны регулирующих органов. К такому выводу пришли участники дискуссии на ежегодном деловом форуме «IT-Лидер».

Максим Тамбиев, региональный директор компании Forrester Research в России, полагает, что распространение технологий Промышленного интернета происходит весьма динамично, но неравномерно. Самыми «горячими» отраслями, для которых уже созданы и применяются соответствующие приложения, являются транспорт (прежде всего, для управления автопарком), розничная торговля (инвентаризация товаров и управление складским хозяйством) и госсектор (безопасность объектов социальной сферы и городских служб). Не столь интенсивно, но тоже находят применение технологии Интернета вещей в сельском хозяйстве, здравоохранении, управлении объектами энергетики и ряде других областей.

Эти оценки в целом разделяет директор Центра стратегических инноваций «Ростелекома» Борис Глазков, заявивший, что ключевыми драйверами Промышленного интернета становятся крупный корпоративный и государственный секторы экономики, испытывающие острую потребность в снижении издержек и повышении эффективности производственных процессов.

Член совета директоров Магнитогорского металлургического комбината Сергей Сулимов рассказал о том, как новые технологии на практике повышают эффективность производственных процессов и позволяют сэкономить дорогостоящие ресурсы. В настоящее время ММК в целом завершил внедрение программного комплекса, совместно разработанного специалистами инсорсингового подразделения комбината «ММК-Информсервис» и компании «Яндекс». Им удалось построить математическую модель одного из производственных процессов в кислородно-конвертерном цехе, где варится сталь из чугуна и металлолома. При варке добавляются дорогостоящие ферросплавы и легирующие компоненты. От количества и времени их внесения зависят свойства получаемой стали и ее последующая маркировка. Своя сталь для легковых автомобилей, своя — для танковой брони. Ежегодно ММК использует ферросплавов на 300 млн долл. Основная идея проекта с «Яндексом» заключалась в том, чтобы оптимизировать процесс загрузки добавок и в итоге сократить объем их потребления. По оценкам, полученным в ходе пилотного запуска системы, годовая экономия на дорогостоящих материалах составит 275 млн руб.

Несмотря на явный успех проекта, Сулимов осторожно оценивает перспективы Промышленного интернета в России: проекты, нацеленные на реальное повышение эффективности бизнеса через цифровизацию, пока нетипичное явление для отечественных промышленных предприятий. Их руководителям зачастую не хватает понимания важности внедрения новых технологий и инициативы в их продвижении. Даже упомянутый проект ММК состоялся во многом благодаря энтузиазму начальника кислородно-конвертерного цеха.

Чтобы придать импульс развитию Промышленного интернета, необходим комплекс системных мер, считает Глазков. Он сообщил, что в ближайшее время правительству будет представлена дорожная карта развития Промышленного интернета для отрасли городского хозяйства (параллельно разрабатываются и другие отраслевые дорожные карты), предусматривающая одновременное движение в нескольких направлениях.

Первое — стимулирование спроса на технологии Промышленного интернета на уровне городов и муниципалитетов. В них будут созданы такие экономические и политические условия, чтобы внедрение данных технологий в различных сферах городского хозяйства и управления было выгоднее, чем отказ от них. Одновременно планируется стимулировать разработку соответствующих решений для городских организаций и предприятий.

Также дорожная карта предусматривает активное продвижение Промышленного интернета в ряде конкретных отраслей. Например, в ЖКХ планируется инициировать мероприятия, понуждающие граждан перейти к установке счетчиков использования воды, электричества и газа, оборудованных средствами передачи данных о фактическом потреблении этих ресурсов. На объектах энергетической инфраструктуры рекомендуется установить средства удаленного мониторинга состояния сетей, узлов и агрегатов.

Аналогичные меры предлагается принять на транспорте и в некоторых отраслях промышленности — прежде всего там, где уже имеются готовые бизнес-модели Промышленного интернета и отработаны подходы к их воплощению. Кроме того, дорожная карта предусматривает меры по развитию непосредственно технологий Промышленного интернета – через разработку отечественных стандартов, российской электроники, платформенных решений и др. Всего карта содержит около 40 специальных мероприятий, стимулирующих применение Промышленного интернета в городских образованиях.

27 октября документ будет вынесен на рассмотрение рабочей группы, возглавляемой помощником президента России Игорем Щеголевым. Глазков выразил надежду, что до конца года правительство утвердит предложенную дорожную карту, и тогда число успешных проектов в области Промышленного интернета значительно возрастет.