Данные – топливо цифровой эры, а вот ее двигателем, по мнению участников технического форума NetApp Insight2015, собравшего около 3,5 тыс. участников из 62 стран, среди которых были профессионалы в области хранения и управления данными, являются гибридные облака. Такие облака способствуют трансформации современного бизнеса в цифровой, однако почему сегодня не видно массовых примеров и энтузиазма по поводу миграции в них данных и приложений? Что мешает интеграции гибридных облаков в корпоративный ИТ-ландшафт? Как показали результаты опроса участников Insight2015, основных проблем — две: сложность интеграции с существующими системами и неуверенность в безопасности данных. Как следствие, на гибридные облака сегодня приходится только 6% предоставляемых ИТ-сервисов, и только 29% пользователей в своей работе перемещают критичные данные с локальных носителей в публичные облака и обратно.

Организации сегодня уже не только отказываются держать свои данные в «силосных ямах» локального хранения, но и требуют надежных средств их перемещения между наиболее удобными для поддержки конкретных бизнес-операций носителями: флеш — жесткий диск — облако, а также между собственным ЦОД и публичными облаками. Однако, по мнению аналитиков Gartner, к 2017 году до 90% данных, предназначенных для анализа, не будут консолидированы и останутся распределенными по разным бизнес-процессам и системам хранения.

Предложенная NetApp концепция построения цифрового пространства Data Fabric призвана обеспечить пользователям необходимую гибкость в управлении данными.

«Решения Data Fabric позволят клиентам защищать, хранить, восстанавливать и архивировать данные в гибридных облаках, оптимизируя стоимость хранения и минимизируя риски, — сказал на форуме Ли Касвелл, вице-президент NetApp. — Мы предоставляем своим заказчикам возможность надежного управления корпоративными данными, размещаемыми на флеш-массивах, дисках и в облаках».

Действительно, пользователям необходимо поддерживать контроль за организацией данных, и одновременно — обеспечивать гибкость для внедрения новаций. Однако Жан-Франсуа Мари, директор по продуктам, решениям и альянсам NetApp в странах Европы, Ближнего Востока и Африки, предупреждает: «Наиболее серьезные проблемы на пути к облакам связаны с обеспечением безопасности и надежности хранения, да и не целесообразно всю информацию помещать в облака — это дорого, долго, и время отклика может быть большим. Все зависит от конкретного применения: главное — уметь регулировать порядок, форму размещения и доступ, например часть данных хранить в облаках, остальное — локально».

Гибридные облака предъявляют повышенные требования к хранению, безопасности и доступности данных. Например, для компании, которая занимается посредническими услугами и размещает свои данные в облаке, их дискредитация равносильна потере бизнеса. На форуме были анонсированы средства защиты корпоративных данных в облаках. StorageGRID Webscale 10.2 – решение для оптимизации хранения больших, распределенных репозиториев, которое поддерживает протоколы NFS, CIFS и единое пространство имен с интерфейсом OpenStack Swift, допускает поиск по метаданным и обеспечивает долговременное хранение информации путем ее размещения в разных облаках. SnapCenter – средство защиты данных в гибридных облаках, организации резервного копирования и восстановления после сбоев, помогающее корпорациям упростить управление масштабируемым хранением данных, используемых разными приложениями. Благодаря SnapCenter можно централизованно управлять процессами консолидации данных и их клонирования для передачи на выполнение разным приложениям, размещенным на множестве серверов. SnapCenter интегрирован с операционной системой Data ONTAP, которая управляет работой систем хранения, размещаемых на дисках, в публичных облаках (Microsoft Azure, Amazon Web Services и др.) и на флеш-массивах, таких как NetApp All Flash FAS семейства 8000 с максимальной емкостью 3,8 Тбайт. Встроенные в Data ONTAP 8.3.1 средства сжатия позволяют поддерживать все виды нагрузок и оптимизировать операции чтения.

Для построения цифровой среды предприятия предлагается решение NetApp Private Storage, позволяющее интегрировать внутренние вычислительные ресурсы с ресурсами от внешних провайдеров. NPS дает возможность управлять данными независимо от их расположения, обеспечивая гарантированную производительность и доступность. Например, немецкий сервис-провайдер DARZ (его ЦОД размещается в бывшем хранилищe золотого и денежного запаса Центрального банка Германии), предоставляющий услуги хостинга, предлагает сервис NPS своим клиентам, которым по экономическим соображениям использовать Amazon, но не нарушая при этом местных законов о суверенитете данных. Компания развернула NPS в ЦОД во Франкфурте, у которого есть канал по «темному» волокну с компьютерами Amazon, – если клиентам нужны большие емкости хранения за невысокую цену и скорость доступа не критична, то средствами NPS это можно сделать, установив свое ПО на платформе Cloud ONTAP в облаке AWS и реплицируя любые приложения, виртуальные машины и данные с локальной системы в облачную и обратно.

Большое внимание на форуме уделялось также решениям для Интернета вещей – здесь компания NetApp, судя по выставке, проведенной в рамках Insight2015, плотно сотрудничает с Cisco, VMware и Fujitsu.

Готов ли бизнес к гибридным облакам или нет, но движимая ими цифровая вселенная к 2020 году расширится до 40 зеттабайт, и уже сегодня только по мобильным сетям передается 1,5 экзабайта данных в месяц, с обработкой которых ни частное облако, ни локальное хранилище не справятся. Поэтому для поддержки любых изменений в стратегии бизнеса будут востребованы решения типа DataFabric, предоставляемые в виде законченного аппаратно-программного комплекса или сервиса по организации взаимодействия сервис-провайдеров как с частными и публичными облаками, так и с локальными репозиториями.

В рамках конференции Huawei Network Conference 2015, впервые проведенной компанией в Москве с целью продемонстрировать технологии и продукты для построения и управления программно-конфигурируемой сетевой инфраструктурой (Software Defined Infrastructure, SDI), состоялась сессия по Большим Данным. В работе сессии приняли участие представили компаний SAP, «Крок», «Техносерв», «Вымпелком» и Teradata.

Как следовало из доклада, который сделал Дон Либинь, директор компании по глобальным продажам корпоративных ИТ-решений, в Huawei еще в 2009 году заинтересовались проектами, связанными с Большими Данными. В 2011 году был выпущен первый продукт – платформа Galax HD, позже получившая название FusionInsight Hadoop и сегодня нашедшая применение у более чем ста заказчиков по всему миру. Платформа предлагает унифицированные средства хранения больших массивов данных, поиска и аналитики, помогающие предприятиям из сферы телекоммуникаций, финансов и госуправления решать задачи обработки Больших Данных. Для открытой платформы FusionInsight требуются обычные серверы стандартной архитектуры, причем без каких-либо дополнительных аппаратных компонентов, а в состав ПО входят средства управления ресурсами, инструментарий разработчика и комплект программ моделирования, позволяющих обнаруживать скрытые взаимосвязи в данных и использовать их для развития бизнеса. Так, благодаря FusionInsight в China Merchant Bank удалось с недель до минут сократить процедуру проверки кредитной истории потенциальных клиентов, что позволяет почти в реальном времени принимать решение о выдаче кредитов. На сегодняшний день Huawei является третьим после Hortonworks и Cloudera контрибьютором проекта Apache Hadoop (Spark).

В чем состоит проект Больших Данных? Тиражируемы ли такие проекты? Не пора ли, как призывают аналитики Gartner, вообще отказаться от термина «Большие Данные»? Эти и другие вопросы были поставлены перед участниками сессии. Сергей Марин из компании «ВымпелКом» считает, что, по сути, проект Больших Данных напоминает продажу продукта внутри своей компании – «сначала приходится объяснять сотрудникам, что это и зачем надо, а потом получать шквал запросов от них с требованием установить соответствующие инструменты и помочь использовать их в своей работе». Так, для бизнеса оператора связи средствами из арсенала технологий Больших Данных (Python, Spark, Hive, Pig и др.) решаются вопросы управления оттоком клиентов, маркетинговыми действиями с ними, а также обнаружения фрода. В решении последней задачи в «ВымпелКоме», по словам Марина, особенно преуспели – теперь, чтобы выявить факты мошенничества, требуется 15 минут, а не несколько дней, как раньше.

По мнению участников сессии, ни один коммерческий поставщик решений не сможет предложить полного спектра инструментов, необходимых для задач Больших Данных, хотя проприетарные продукты обычно проще и удобнее в работе. Однако узким местом является нехватка специалистов: сегодня не составляет проблем средствами Hadoop собрать витрину данных и выгружать из нее требуемые фрагменты, но мало специалистов, умеющих задавать бизнесу правильные вопросы. У нынешних студентов, как правило, есть познания в конкретных технологиях, но нет знаний. В этой связи вторично, используются ли в компании коммерческие решения типа Teradata Presto – интерактивная распределенная система обработки SQL-запросов в памяти, масштабируемая до петабайтного уровня, или платформа SAP HANA вместе с продуктом Vora для интеграции с Hadoop, либо весь спектр известных открытых решений из стека Hadoop YARN, позволяющих держать данные ближе к процессу их обработки. Когда не знаешь, что именно искать в накопленных больших или не очень больших массивах данных, то и результат поиска будет малополезным.

С 1955 года более 80% компаний из списка Fortune 500 ушли с рынка, потому что не сумели вовремя адаптироваться к изменениям — средний срок нахождения в этом престижном списке сократился до 10-15 лет. Появление технологий, потенциально способных на порядок ускорить работу ИТ-систем поддержки бизнес-процессов, не следует воспринимать лишь как очередную новинку, считает Кевин ДеНуччио, глава компании Violin Memory. Такие технологии, как флеш-массивы, могут стать дополнительным стимулом для предприятий кардинально пересмотреть бизнес-модели. ДеНуччио возглавляет компанию с февраля 2014 года, до этого он работал на руководящих должностях в Cisco Systems, Bell Atlantic Network Integration (ныне Verizon), Wang Laboratories и Unisys. Во время форума Violin Forum 2015 в Москве ДеНуччио ответил на вопросы Computerworld Россия.

- Как изменились технологии систем хранения за последние пять лет?

Необходимость решать проблемы Больших Данных, Интернета Вещей и мобилизации на фоне увеличившихся операционных издержек заставили пользователей пересмотреть свое отношение к планированию емкости и производительности систем хранения. В условиях лавинообразного роста нагрузки на бизнес-системы уже невозможно заранее построить адекватное решение — для поддержки высокопроизводительных СУБД, аудиовизуальных решений, обработки данных в реальном времени традиционные массивы на жестких дисках уже не подходят и становятся слабым звеном ЦОД. Восемь лет назад в решениях для корпоративного сектора появились твердотельные накопители, со временем снижалась их стоимость и одновременно росла надежность. В 2007 году компания Violin Memory выпустила первую в мире систему хранения полностью на флеш-памяти (All Flash Array, AFA).

Стандартные жесткие диски со скоростью максимум 15 тыс. оборотов в минуту могут выдать 200 операций в секунду (IOPS) против 10-20 тыс. для твердотельного носителя. Чтобы удовлетворить потребность типичного ЦОД в полмиллиона IOPS, потребуется 2,5 тыс. жестких дисков или 50 твердотельных накопителей. Конечно, пока еще цена за гигабайт у жесткого диска меньше (0,8 долл), однако, на этом его преимущества заканчиваются — низкая скорость доступа приводит к простоям серверов (средняя загрузка процессора составляет сегодня 30%), плюс к этому требуется пространство для их размещения, электроэнергия, оборудование по охлаждению помещения. Благодаря решениям класса All Flash загрузка процессора повышается в разы, а значит, серверов может быть меньше, что тянет за собой снижение затрат на обслуживание ПО, лицензируемого в зависимости от количества ядер. При расчете совокупной стоимости владения с учетом всех элементов инфраструктуры флеш-массивы оказываются дешевле дисков.

Рынок мгновенно отреагировал на появление систем All Flash — по данным IDC, с 2012-го по 2015 год спрос на такие решения ежегодно рос на 22,5% и к 2019 году объем рынка, соглаcно прогнозам, превысит 5 млрд долл.

- В чем особенность флеш-массивов Violin Memory?

Вместо того, чтобы приобретать у третьих сторон типовые SSD с неизменными характеристиками, как это делает большинство игроков рынка, в наших флеш-массивов мы используем собственные платы памяти Violin Intelligent Memory Module (VIMM) на базе заказных чипов NAND производства Toshiba, обеспечивающие параллелизм, быстродействие и отказоустойчивость, не достижимые стандартными SSD.

Чтобы проектировать собственные платы «с нуля» и производить их на заказ, нужны интеллектуальные ресурсы, но ими располагают не все производители, а потому многие предпочитают идти по пути имитации жестких дисков на флеш-памяти. В VIMM предоставляется прямой доступ приложений к флеш-памяти в сочетании с дедупликацией и сжатием. Из модулей VIMM емкостью 1,1 Tбайт «сырой» памяти можно построить массив с высокой плотностью 23,4 Tбайт на один «юнит» в стандартной стойке.

В феврале этого года мы выпустили платформу хранения данных Flash Storage Platform (FSP) 7300 и 7700. Первая обеспечивает 1 млн IOPS и в форм-факторе 3U содержит 70 Tбайт «сырой» памяти, что с учетом дедупликации и сжатия составляет более 200 Tбайт эффективной емкости, реально используемой приложениями. Вторая – 2 млн IOPS и 700 Тбайт «сырой» памяти в форм-факторе 36U или 2,1 Пбайт эффективной емкости.

- Что нового получают заказчики, которые предпочли системы класса FSP традиционным дисковым решениям?

Когда технологии позволяют укорять выполнение бизнес-операций не на 10-20%, а в разы, то можно уже вести речь о кардинальной трансформации бизнеса. Если раньше один наш заказчик из ретейла, работающий с 2 млн товарных позиций, мог принимать решение по изменению цен раз в неделю, то теперь он ежедневно контролирует 5 млн позиций. Высокоскоростная обработка разнородных данных в одном флеш-массиве позволяет строить системы продвинутой, прогнозной аналитики, работающей в реальном времени вместо того, чтобы постфактум анализировать исторические данные. Это означает смену правил игры, причем без существенных инвестиций. Технологии дедупликации и сжатия, встроенные в ядро системы, в разы снижают стоимость хранения. Более того, приобретение и развертывание флеш-массивов может быть дешевле по сравнению с расходами на поддержку и эксплуатацию существующих дисковых систем.

- Какие наиболее интересные, по вашему мнению, проекты на базе флеш-массивов Violin выполнены в России?

Можно отметить два проекта — предлагаемое компанией «Крок» облако и флеш-массив для банка «Ренессанс Кредит». В первом требовательным заказчикам предлагается уже не просто абстрактная емкость, а гарантированное количество операций ввода-вывода в секунду, причем независимо от нагрузок, а также возможность самим пользователям управлять пулом облачного хранения. Во втором заказчику требовалось ускорить процесс проверки кредитоспособности покупателя, пришедшего в магазин и обратившегося за розничным кредитом — кто из представленных в магазине банков быстрее «подхватит» клиента, тот и выиграет. В результате в «Ренессанс Кредит» на разных площадках были развернуты два флеш-массива Violin, на которых работают такие бизнес-критичные приложения, как кредитный конвейер и автоматизированная банковская система, их производительность выросла втрое, что, в частности, помогло банку справиться со всплеском покупательской активности в конце 2014 года.

- Ближайшие планы компании?

В период 2014-2019 годов все основные приложения предприятий будут переноситься на флеш-массивы, а затем ожидается появление полностью «кремниевых» ЦОД с миграцией всех данных на твердотельные носители и полным отказом от механических дисков. В такой ситуации у компании обширное поле для деятельности. Например, флеш-память — это расходуемый материал с ограниченным числом циклов перезаписи, а корпоративные приложения предполагают смешанные нагрузки с интенсивными операциями записи данных, поэтому одна из задач состоит в том, чтобы с добавлением функционала сохранялась надежность флеш-массивов и увеличивался срок жизни носителей. Мы продолжим развивать Concerto OS 7 как облачную ОС и здесь в поисках новых идей работаем, в частности, с сообществом OpenStack. С точки зрения бизнеса в наших планах — географическая экспансия, к этому нас, в частности, подталкивает успех двух лет работы в России.

Сообщество Российского сегмента Интернет отмечает свое 25-летие. 19 сентября 1990 года от имени общественной организации «Советская ассоциация пользователей UNIX» было зарегистрировано доменное имя верхнего уровня «.SU». Фактически это означало официальное признание нашей страны мировым интернет-сообществом и, прежде всего, его научным сегментом. На базе вычислительного центра Института атомной энергии им. И.В. Курчатова (ныне РНЦ «Курчатовский Институт») была создана первая отечественная научная сеть с выходом в Интернет. Это уже потом, вспоминает возглавлявший этот проект Алексей Солдатов, в настоящее врем председатель Наблюдательного совета Фонда развития Интернета, ему стали выражать признательность представители бизнеса, заработавшие именно благодаря получению оперативной информации через российский сегмент Сети. Как бы то ни было, четверть века назад появился отечественный Интернет, а домен .SU стал символом нового, открытого к информации и переменам сообщества пользователей.

С 2000 года администрированием домена занимается Фонд развития Интернета, а техническую поддержку осуществляет «Технический Центр Интернет». Сегодня в зоне .SU насчитывается 118 тыс. имен, используемых гражданами России и СНГ, Европы и США, при этом имена сайтов зарегистрированы не только на латинице, но и в других алфавитах.

Как отметил Алексей Платонов, генеральный директор компании «Технический Центр Интернет», домен .SU был истинно «народным», за ним не было какой-либо идеологии или инициативы регуляторов. По мнению Марата Гуриева, председателя Союза операторов Интернет, развитие Сети остановить нельзя, хотя, конечно, требуется регламентация, учитывая, что Интернет не всегда используется с благими целями. Поэтому неудивительно, что представители Минкомсвязи участвуют в работе АНО «Координационный Центр национального домена сети Интернет», созданного «Ассоциацией документальной электросвязи», «Союзом операторов интернет», РОЦИТ, РосНИИРОС и призванного обеспечить надежное функционирование национальных доменов верхнего уровня .RU и .РФ, насчитывающих сегодня около 6 млн имен.

Для многих интернет-пользователей, домен .SU – больше, чем домен, символизирующий стремление граждан к открытому общению. Формально именующий уже несуществующее государство, домен получил статус «исключительно зарезервированного», которому не грозит удаление, и стал сегодня для интернет-сообщества неотъемлемым сегментом Сети, открытой платформой для социальных, образовательных, научных и экономических новаций.

В конце июля сообщество OpenStack провело в Москве конференцию, посвященную завершению первой «пятилетки» стремительного развития операционной платформы для облаков. В конференции приняло участие 140 человек.

Открывая мероприятие, Илья Алексеев, координатор российского сообщества OpenStack, отметил, что дату 19 июля 2010 года принято считать днем рождения OpenStack (местное отделение сообщества появилось в марте 2011 года). Сегодня экосистема OpenStack включает представителей 165 стран, более 500 организаций и около 30 тыс. индивидуальных членов, а интерес к проекту проявляют не только разработчики, ИТ-компании и системные интеграторы, но и бизнес-заказчики. Например, в компании Wal-Mart на OpenStack работает конфигурация из 140 тыс. процессорным ядер, а все свои транзакции PayPal проводит благодаря технологиям этого стека — это ли не свидетельство его взросления. Почему так происходит, постарался объяснить интернет-омбудсмен Дмитрий Мариничев, сравнивший феномен OpenStack с появлением мушкетов, которые на первых порах по скорострельности и точности уступали лукам в руках отдельных солдат, однако увеличение численности армий и невозможность быстро подготовить искусных лучников сыграли в пользу нового оружия, не требующего особых навыков при сравнимых результатах.

По мнению Алексея Черевкова из «Сервионики», отношение к OpenStack меняется — академический интерес к новой технологии перерастает в практическую плоскость. «Наша компания выполняет в России ряд проектов на базе OpenStack, что свидетельствует о заинтересованности в этой технологии со стороны отечественного бизнес-сообщества», — отметил Черевков. Вместе с тем, распространению OpenStack препятствует излишняя сложность реализации и управления, проблемы перехода на новые версии и интеграции унаследованного оборудования, а также недостаточная стабильность кода. Открытой платформе еще не хватает функций обеспечения непрерывной работы бизнес-критичных приложений, например механизма перемещения виртуальных машин и планировщика распределения нагрузки между ними; нет совершенного инструмента поддержки высокой готовности и защиты от сбоев. Именно в этих направлениях, как показал и ряд выступлений на конференции, идет развитие проекта OpenStack.

Герман Наркайтис из компании Mirantis рассказал, как с помощью сервиса stackalytics.com оценить реальную экспертизу, активность и вклад участников сообщества в развитие проекта, а также проследить миграцию специалистов между компаниями-работодателями. Например, независимо от заявлений конкретных производителей, объективная статистика свидетельствует, что наибольшую заинтересованность в проекте сегодня демонстрируют HP, Red Hat, Mirantis и IBM, а мониторинг перемещения кадров особенно важен сегодня, когда, по наблюдениям Черевкова, на рынке очевиден дефицит специалистов по стеку технологий OpenStack и заполнять вакансии приходится Linux-программистами. В этой связи очень актуальной может оказаться представленная на конференции первая на русском языке книга, посвященная OpenStack, написанная Андреем Маркеловым, бывшим сотрудником Red Hat. В ней разбираются особенности разработки облачных, горизонтально масштабируемых приложений и их отличия от вертикально масштабируемых, традиционных приложений, дается обзор составляющих стек компонентов (Glance, Swift, Nova, Neutron, Heat и др.) и присутствующих сегодня на рынке дистрибутивов. Иначе говоря, читатель получит представление о стандарте де-факто в области открытых продуктов построения облачной инфраструктуры (IaaS).

Радик Юсупов из компании Tionix рассказал об опыте создания готовой к сертификации ФСТЭК, отказоустойчивой и масштабируемой облачной платформы, удовлетворяющей требованиям динамично развивающихся компаний и операторов связи. Максим Хаванкин из Cisco Systems доложил об особенностях интеграции модулей OpenStack с продуктами своей компании.

Пять лет – не только первая круглая дата для OpenStack, но и, по мнению Валерия Безрукова из Mirantis, «переломный» возраст: условием же перехода проекта в стадию зрелости будет не только юношеский энтузиазм и активность всех членов сообщества, но терпение и упорство.

Мобильные решения, социальные сети, Интернет вещей, экспоненциальный рост данных — все это ведет к радикальным изменениям в ИТ-стратегии предприятий. Сегодня любой современной организации требуются средства получения ресурсов по требованию, защиты активов, формирования решений на основе данных и инструменты повышения производительности труда сотрудников. Анонсированная компанией HP на недавней ежегодной конференции HP Discover «наборная» (сomposable) инфраструктура, как утверждается, позволяет из стандартных, автономных, но имеющих открытые интерфейсы компонентов составить любую ИТ-конфигурацию.

«Прошло время, когда на сервер смотрели как на оборудование, – сегодня это лишь компонент, позволяющий создать среду предоставления пула ресурсов для решения специфических задач бизнеса», — отметил Дмитрий Пенязь, руководитель серверного департамента HP в России.

Сложность решаемых современным бизнесом задача, большой объем данных затрудняют развертывание необходимых ИТ-сервисов, снижая эффективность работы; наборная же инфраструктура дает возможность в программно-конфигурируемой среде оптимизировать хранение, работу сети и потребление вычислительных ресурсов. Для управления такой инфраструктурой предлагается новая версия программного обеспечения HP OneView 2.0, унифицирующая процессы, пользовательские и прикладные интерфейсы при работе с серверами, системами хранения и сетевыми устройствами, сокращая время, затрачиваемое на управление, и снижая вероятность ошибок благодаря проактивному выявлению и устранению проблем еще до того, как они повлияют на выполнение бизнес-процессов.

Для обработки больших объемов данных и требующих вертикального масштабирования задач компания предлагает серверы Integrity Superdome X, ProLiant DL580 и 560, а также лезвийные системы BL660c Gen9.

Критически важные для бизнеса прикладные системы предъявляют высокие требования к серверным платформам, которые должна обеспечивать постоянную доступность, предупреждение отказов и быстрое восстановление после сбоев. Традиционно для этих целей использовались RISC-платформы с ОС UNIX и мэйнфреймы; серверы же стандартной архитектуры нужными качествами не обладали. Появление процессора Intel Xeon E7 изменило ситуацию, позволив заменить HP Integrity Superdome 2 на базе Itanium системами стандартной архитектуры. Наличие экосистемы и демократичные цены играют в пользу систем на платформе x86/Linux, что и предопределило выход сервера HP Superdome X, соперничающего с решениями старшего класса IBM Power, Oracle SPARC M6 или Fujitsu SPARC64. Наряду с операционными системами SUSE Linux и Red Hat Linux серверы Superdome X сертифицированы для работы с Windows Server 2012 R2, VMware vSphere 5.5. Новые серверы уже нашли применение у отечественных телекоммуникационных операторов; как утверждают в HP, Superdome X способен «держать» систему биллинга для обслуживания 100 млн абонентов.

Серверы HP ProLiant DL580 Gen9 580, по словам Александра Светлакова, руководителя направления HP BladeSystem, предназначены для применений, требующих повышенной живучести и быстродействия. ProLiant DL560 Gen9 — это четырехсокетный сервер высокой плотности, подходящий для надежного выполнения одновременно нескольких нагрузок.

Для работы с популярными сегодня СУБД класса in-memory требуются не только системы с большим объемом оперативной памяти, но, главное, – надежные решения, исключающие потери данных в случае сбоев. Как отметил Cергей Пластун, руководитель направления бизнес-критичных систем, в расчете на такие требования в HP выпустили системы Integrity NonStop X на платформе x86, для которых характерна тесная интеграция аппаратуры и ПО, а также имеется технология парных процессов, позволяющая всегда иметь актуальную копию всего состояния ОС. Данные передаются, минуя процессор; предусмотрено дублирование на разных уровнях. Такие системы традиционно востребованы в финансовой сфере и телекоме. В России таких систем пока нет, но в рамках начавшегося процесса замены систем предыдущего поколения NonStop это дело времени, тем более, что замена процессоров Itanium на х86, а проприетарной сети ServerNet — на стандартный Infiniband существенно снижает стоимость.

Объявленный на прошлом форуме проект The Machine по-прежнему интригует ИТ-сообщество, которое весьма интересуется ходом работ над компьютером новой, «ведомой памятью» (Memory-Driven) архитектуры, принципиально отличающейся от общепринятой сегодня процессорно-центричной. Однако, вопреки первоначальным планам выпустить уже в этом году прототип на мемристорах, компания объявила о готовности прототипа — пока с 320 терабайтами памяти DRAM и эмулятором, позволяющим отлаживать ПО для новой архитектуры. Появились также спецификации по инженерному обеспечению The Machine и описание ее конструктива, предусматривающего использование межсоединений на основе кремниевой фотоники.

«Архитектура The Machine отличается от традиционной – если у программиста есть в наличии пул оперативной памяти в сотни петабайт, то и алгоритмы будут совсем иными», — отметил Олег Васьков, руководитель центра высоких технологий HP. Чем раньше сложится экосистема для новой машины, тем успешнее будет ее выход на коммерческий рынок, намеченный на 2018-2019 годы, поэтому одной из важнейших задач HP Labs является сегодня разработка алгоритмов и создание ПО для будущих систем.

Организованная уже в третий раз конференция по технологиям, аналитике и работе с данными в интернет-маркетинге – Yet another Conference on Marketing – была посвящена на этот раз рекомендательным системам и собрала около 1,5 тыс. участников, главным образом специалистов в области цифрового маркетинга, студентов соответствующих специальностей и разработчиков маркетинговых технологий.

«Рекомендательные системы способны привести к тектоническому сдвигу в культуре потребления» – таков был главный тезис доклада Виктора Ламбурта, заместителя руководителя подразделения медиасервисов «Яндекса». Эволюция в культуре потребления, по мнению Ламбурта, прошла три стадии: средние века – индивидуальный подход, когда продавец знал покупателя в лицо; XX век – массовое производство для обезличенного потребителя (например, Ford); сегодняшний день – массовая кастомизация, производство товаров и услуг для конкретной аудитории. Как оказалось, эффективность современных рекламных технологий весьма низка и во многом случайна: рекламный плакат предназначен всем и никому из конкретных потребителей товара. Действительно, трудно дать точный ответ на общий вопрос, размещая билборд в местах возможного появления потенциальных покупателей или рекламную картинку в условном прайм-тайме, – история повторяется на другом уровне, и сегодня вновь приходит время персональных рекомендаций, но с несоизмеримо более многочисленной аудиторией, чем жители одного квартала.

Задача современных рекомендательных систем – комплекса алгоритмов, позволяющих предсказать, что окажется наиболее интересно пользователю, — буквально знать потребителей по именам и делать им персональные предложения. Так, посредством сингулярного разложения (Singular Value Decomposition, SVD) можно описать пользователя в виде вектора из N факторов, а товары всех производителей — в виде матрицы; путем их перемножения можно найти конкретного пользователя, которому следует предложить конкретный товар. В проекте «Яндекс.Маркет» за счет SVD и ряда других клиентоориентированных и контент-ориентированных технологий удалось, по словам Ламбурта, на 30% повысить продажи блока «Популярные товары».

Дальше — больше. Предпочтения покупателей далеко не статичны, и, чтобы отслеживать их изменения, каждому покупателю пришлось бы предоставить персонального менеджера, однако физически это невозможно, а с помощью машинного обучения, например на базе алгоритма MatrixNet, вполне достижимо. В конечном счете задача такого «менеджера» – в каждый момент времени и в любой точке пространства предложить потребителю необходимую ему услугу или товар, причем рекомендуя что-то новое, что потенциально может понравиться. Например, предложить послушать музыку исполнителя, работающего в том же жанре, что и любимый певец, или предоставить новые треки того же музыкального стиля. Иначе говоря, не предлагать слушать одну и ту же, однажды понравившуюся музыку, а находить новую, помогая клиенту открывать для себя иные формы. В результате применения таких подходов среднее время прослушивания музыки после перезапуска сервиса «Яндекс.Музыка» выросло за девять месяцев на 70%.

На конференции был объявлен новый проект «Яндекс.Радио», построенный на технологиях рекомендательных систем и машинного обучения и направленный на предоставление слушателям персонально именно той музыки, которую они хотели бы слушать в данный момент. Слушая музыку, потребитель наиболее восприимчив к аудиорекламе, что и было положено в основу бизнес-модели проекта«Яндекс.Радио» – «аудиореклама в распахнутую душу». Днем рождения сервиса стало 4 июня 2015 года.

Отношение к персональному менеджеру в компании «ВымпелКом» озвучил на конференции руководитель программы Big Data Сергей Марин. По его словам, знание клиента «на 360°» позволяет формировать индивидуальные тарифные планы, позволяющие абоненту за те же деньги получать больше услуг. Собственно, в этом и есть суть рекомендательных систем – точно знать, когда предлагать, а когда не предлагать ту или иную услугу или товар. Для наполнения рекомендательных систем конкретным содержимым в компании используют комплекс технологий Больших Данных (Hadoop, Spark, HDFS, GraphX и др.), причем предпочитают обрабатывать все сами, считая, что без знания особенностей бизнеса никакой аутсорсинг задачу создания «персонального менеджера» для абонента не решит.

Драматургия организации продаж, как в хорошем сериале, должна побуждать смотреть очередные серии — возвращаться к продавцу. Александр Хайтин, представляющий подразделение Yandex Data Factory, рассказал в своем выступлении об услугах компании «Яндекс», помогающих ее заказчикам «попасть в клиента». Простая, казалось бы, рекомендация банкам отойти от сегментирования клиентов (пожилым предлагать сберегательные вклады, молодым – кредиты, бизнесменам — премиум-обслуживание) позволила, по словам Хайтина, на 13% повысить прибыль — реальная жизнь сложнее. Глупо, если, например, банк будет предлагать клиенту кредит лишь на основании того, что тот накапливает средства на сберегательном счете, или если магазин станет навязывать своему покупателю еще одни кроссовки, лучше уж предложить ему шнурки или карту фитнес-клуба.

Если отбросить сиюминутные политические мотивы, то, как отметил на открытии форума Фил Эндрюс, вице-президент Red Hat в Северной и Восточной Европе, между требованиями бизнеса и возможностями традиционных, как правило, проприетарных технологий образовался разрыв, заполнить который способны более динамичные открытые решения на основе гибридных облаков. Действительно, пул из закрытых решений все чаще либо оказывается слишком дорогим, либо отстает от изменений окружающего бизнес-ландшафта. Успешное взаимодействие бизнеса и ИТ, по мнению Эндрюса, возможно на базе бимодальной модели, предусматривающей одновременную надежную поддержку традиционных, критически важных для бизнеса приложений, а также гибких мобильных и веб-решений на базе облачных сервисов, учитывающих запросы актуальной бизнес-среды. При этом классические приложения должны размещаться в частном облаке, а веб-приложения – в публичном, что позволит корпоративной системе сочетать, по образному выражению представителей компании Red Hat, черты марафонца и спринтера.

С приходом облаков сложилась новая реальность – корпоративные приложения уже не могут создаваться годами с расчетом на продолжительную работу без изменения кода и функционала. Чтобы успешно вести бизнес, предпритиям необходимо уметь быстро разворачивать динамичные модульные приложения под конкретные задачи, которые могут существовать относительно непродолжительное время. Сегодня миром правят программно-конфигурируемые решения, а соответствующая корпоративная ИТ-инфраструктура должна содержать три слоя, отвечающие за максимальную утилизацию всех имеющихся ресурсов; объединение машин, сетей и приложений; хранение, доступ и поиск данных. Все это невозможно без открытых решений; как результат, половина корпораций во всем мире уже использует модель получения ресурсов ИТ по подписке, бесплатно устанавливая ПО и при необходимости оплачивая услуги по сопровождению. 85% новых программ создается в расчете на облачные платформы, и при этом 80% публичных облаков работает на платформе Linux.

Динамические виртуальные инфраструктуры и частные облака помогают бизнесу быть более гибким и снижают затраты, однако для управления ими требуются новые инструменты. Решение Red Hat Cloud Infrastructure позволяет предприятиям создавать облако на основе своего или арендованного ЦОД и масштабировать его с использованием технологий OpenStack. Централизованное управление получившейся инфраструктурой осуществляется средствами Red Hat CloudForms, а жизненным циклом приложений в ней – средствами Red Hat Satellite.

Джерри Хиггинс, руководитель направления мобильных приложений Red Hat, объявил на форуме о выходе нового PaaS-решения компании FeedHenry, купленной Red Hat в сентябре прошлого года. FeedHenry Mobile Application Platform — облачная корпоративная платформа для поддержки мобильных приложений, позволяющая конструировать, разрабатывать, развертывать и управлять начинкой мобильных устройств, работающих с корпоративными системами. Платформа предоставляет отвечающие корпоративным требованиям масштабируемые средства обеспечения безопасности и синхронизации данных, а также инструменты интеграции с уже существующими в компаниях приложениями. Платформа от FeedHenry станет расширением облачной платформы для приложений OpenShift, создаваемой в рамках стратегии Red Hat JBoss xPaaS по построению и интеграции корпоративных систем, разрабатываемых с привлечением технологий OpenStack.

Такими словами Сергей Рыжиков, генеральный директор компании «1С-Битрикс», открыл конференцию FailOver Conference, посвященную вопросам надежности интернет-проектов. Действительно, отключение онлайн-сервисов, особенно финансовых учреждений, способно сегодня привести к параличу экономики, что можно расценивать как угрозу национальной безопасности, а значит, требуется государственное регулирование в том числе и порядка предоставления гражданам таких сервисов.

Выступление Рыжикова было посвящено задаче выбора хостинг-провайдера в свете вступающих в действие с 1 сентября 2015 года требований ФЗ-242, предписывающих хранить персональные данные граждан только на серверах, находящихся на территории Российской Федерации.

«В этом законе много неясностей, но это закон, и клиенты не придут к вам, если вы его не исполняете», — отметил Рыжиков. До настоящего времени сервисы, предоставляемые компанией «1С-Битрикс», базировались на облаке Amazon, все ЦОД которого расположены за границами России, и планов их размещения в стране у Amazon не было. Поэтому возникла необходимость найти провайдера, способного предоставить два ЦОД на территории РФ. Простая на первый взгляд задача оказалась нетривиальной, и из десятков работающих сегодня провайдеров инфраструктурных сервисов (Infrastructure as a Service, IaaS) было выбрано четыре: DataLine, «ИТ-Град», «Облакотека» и Cloud4Y. Примечательно, что требование сохранения стоимости услуг было далеко не определяющим: по словам Рыжикова, три года назад было выгоднее иметь хостинг за рубежом, но сегодня ценовые предложения выравнялись. Гораздо важнее были, в частности, такие требования: ЦОД не должен быть инвестиционным проектом – инвестиции закончатся, и проект заглохнет; услуги хостинга должны быть основным бизнесом провайдера; наличие некоммерческого гипервизора, например Xen, – оказалось, что большинство отечественных провайдеров используют продукты VMware.

Технические доклады конференции были посвящены вопросам безопасности сайтов, мониторингу их отказоустойчивости и тюнингу (тонкой настройке), направленному на повышение быстродействия сервисов. В секции «Безопасность» можно отметить сообщение Григория Земскова из компании «Ревизиум», который обратил внимание на неподготовленность большинства вновь появляющихся сайтов к атакам. По мнению докладчика, уже через месяц-полтора после включения имени сайта в поисковые индексы надо ждать незваных гостей. Конечно, из общего числа атак лишь 5-10% – целевые, направленные на решение конкретных задач, однако, как оказывается, большинство сайтов не защищены и от общих атак, построенных на основе запросов, взятых из доступных любому начинающему злоумышленнику баз. Примечательно, что для построения безопасного и отказоустойчивого интернет-решения не требуются сложные программные системы или дорогое оборудование. В докладе Виталия Гаврилова из компании «Ленвендо» рассказывалось, как на базе операционной системы Oracle Linux, предлагаемой по лицензии GNU, построить на серверах стандартной архитектуры отказоустойчивый кластер, вполне способный обеспечивать бизнес средней интернет-компании.

Даже для небольших интернет-проектов час простоя может обернуться не только финансовыми потерями, но и потерей репутации: потенциальные покупатели за это время совершат покупку в другом магазине, а клиенты сервисов SaaS и бизнес-приложений уйдут к более надежным конкурентам. В секциях «Тестирование» и «Мониторинг» были доклады о средствах отладки сайтов на различных нагрузках и организации проведения автоматизированного тестирования. В секциях «Администрирование», «Непрерывность бизнеса» и «Производительность» докладчики на конкретных примерах разбирали вопросы тюнинга производительности сайтов и способы их ускорения, средства оценки доступности сервисов, а также типичные ошибки при построении отказоустойчивых масштабируемых решений.

Выяснилось, что не все данные одинаково полезны, а для ответа на вопросы типа «что было, что есть и что будет», возможно, и не потребуются огромные хранилища, в реальном времени аккумулирующие все поступающие из различных источников неструктурированные сведения. Григорий Каневский, архитектор решений Teradata Aster, представивший решения компании на недавнем форуме Big Data 2015, организованном издательством «Открытые системы», рассказал о своем видении аналитики Больших Данных.

- В названии вашего доклада упоминается аналитика с человеческим лицом, что под этим подразумевается?

Основная цель процесса анализа в Aster, включающего сбор, распределение, обработку данных и визуализацию результата, – создание ценности для бизнеса, что в конечном счете означает формирование такого представления информации, которое может быть использовано для принятия решений. Анализ эффективен, когда его проводят не узкие специалисты в области математики, ИТ, бизнеса или в конкретной прикладной области — роль аналитика требует баланса знаний, способности соединить их для постановки задачи и обнаружения закономерностей. Такой специалист, исследователь данных (data scientist) не может знать все, но должен уметь поставить вопрос и получить ценный для бизнеса результат даже при отсутствии информации о структуре или закономерностях анализируемых данных. Иначе говоря, он должен «чувствовать» данные, которые визуализируют средства аналитики.

- Какие средства для этого предлагает ваша компания?

Для поиска ценности в данных предназначена платформа Teradata Aster, реализующая стратегию компании по интеграции всей продуктовой линейки, включающей уже не только традиционные хранилища данных, построенные по принципу «сначала собрали данные, потом записали в одну базу, затем долго хранили и потом, может быть, средствами SQL получили результат». Сегодня речь идет об анализе в динамике, об обработке в реальном времени и о многообразии источников, тесная интеграция которых выполняется с помощью технологии QueryGrid, позволяющей применять один SQL-запрос ко множеству баз и хранилищ как от Teradata, так и от других производителей, а также к кластерам Hadoop. Вместо перемещения данных в QueryGrid сами запросы перемещаются в целевые хранилища и там выполняются.

Такие инструменты позволяют пользователям с любым уровнем подготовки в области программирования, и в частности SQL, работать со сколь угодно большими массивами сырых данных. В конечном счете все данные имеют ту или иную структуру, другое дело, что она неочевидна или неизвестна, а прежде чем браться за анализ, требуется четко представлять, зачем это нужно бизнесу. Разумеется, какая-то подготовка по SQL или языку R полезна; вместе с тем в Aster есть фреймворк AppCenter, который позволяет из готовых блоков, скрывающих от пользователя сложность алгоритмов, создавать веб-приложения для решения конкретных аналитических задач. Такие блоки-ускорители поставляются уже настроенными для различных отраслей (телеком, банки, розничная торговля, индустрия развлечений, здравоохранение и т. д.). Бизнес-пользователи, не знакомые с SQL и не обладающие опытом программирования, с помощью таких веб-приложений могут проводить анализ по выбранным параметрам и получать ответы в виде обнаруженных скрытых связей, оценок лояльности клиентов, ключевых сегментов потребительской аудитории, лидеров мнений, влияющих на принятие решений.

- Есть мнение, что не все данные одинаково полезны...

Инструментарий Teradata Loom позволяет фильтровать массивы сырых данных с нечеткой структурой, «обогащая» их и готовя для анализа. Loom пытается определить структуру файла и помогает аналитику выполнить необходимые преобразования, применяя математические, строковые и другие операции. Тем самым удается выделить из разрозненного массива входящих файлов именно те данные, которые содержат полезную информацию и пригодятся для дальнейшего анализа.

- Какой уровень зрелости бизнеса необходим от клиента Aster?

Уровень, когда представители бизнеса начинают понимать, что можно извлечь ценность из имеющихся данных; обычно это средний или крупный бизнес – компании, имеющие опыт разработки и развития доморощенного аналитического решения и обнаруживающие, что больше вкладывают в него, чем получают взамен. Именно бизнес, ориентированный на результат, заинтересован в применении платформ наподобие Aster, когда оказывается, что собственных ИТ-решений уже недостаточно. Однако следует учесть: развертывание и эксплуатация подобных платформ – это серьезный проект, часто требующий перемен в бизнесе.

Чтобы определить готовность потенциального клиента к пилотному проекту, мы предлагаем ему список из 15 пунктов. Ключевые вопросы — откуда берутся данные, насколько они доступны, есть ли возможность масштабировать источники и инфраструктуру ИТ, поддерживающую их обработку, как распределены данные. Ответы на эти вопросы должны показать в цифрах, какую выгоду получит клиент и за какое время. На всю эту, по сути, консультационную деятельность уходит в среднем от двух до четырех месяцев. Часто оказывается, что потенциальный клиент не может ответить на все вопросы, и тогда не только становится очевидным сам факт неготовности к переменам, но и выявляются факторы, препятствующие этим переменам. К сожалению, люди часто думают, что аналитические платформы, предлагаемые им, — это волшебная палочка. Но успех проекта не в волшебстве, а в реальном взаимном сближении производителя аналитической платформы и заказчика. Мы, конечно, предоставляем профессиональный сервис, но решить все проблемы без понимания особенностей конкретного бизнеса невозможно, а потому компании должны выращивать собственных специалистов по анализу данных.