После инвестиций в размере 263 млн долл. первый стартап в сфере облачного хранения данных превратился в настоящего монстра. Snowflake продолжает расширять сферу своей деятельности и предлагает функции межрегионального совместного использования данных, обеспечивая интероперабельность с растущим набором инструментальных средств.

В новом раунде финансирования на развитие проекта Snowflake будет выделено в общей сложности 473 млн долл. при его оценке в 1,5 млрд долл. Компания, основанная в 2012 году, быстро привлекла к себе внимание после того, как занялась разработкой с нуля системы хранения данных для облака. Хранилища такого рода призваны снять ограничения с объема обрабатываемых данных и количества одновременно выполняемых запросов.

Что такое Snowflake?

По сути, продукт Snowflake представляет собой аналитическую реляционную СУБД с массово-параллельной обработкой (massively parallel processing, MPP), которая отвечает требованиям неразрывности, непротиворечивости, изолированности и устойчивости (Atomicity, Consistency, Isolation, Durability, ACID), которые присущи не только базам данных SQL, но и полуструктурированным данным, представленным, например, в формате JSON, где используется произвольный тип данных VARIANT. Объединению SQL с полуструктурированными данными сегодня отводится ключевая роль, поскольку современным предприятиям постоянно приходится сталкиваться с полуструктурированными данными, которые генерируются машинами.

Snowflake позволяет хранить данные самых разных типов

Обладая оригинальной трехуровневой архитектурой, Snowflake может обрабатывать сотни одновременных запросов к петабайтам данных, а пользователи получают присущую облаку стоимостную эффективность и эластичность, позволяющую создавать новые виртуальные хранилища по мере возникновения такой необходимости. Для получения дополнительных ресурсов на условиях самообслуживания достаточно наличия у пользователя кредитной карты, а сама процедура оказывается не сложнее запуска экземпляра AWS EC2.

«Предложение самообслуживания Snowflake on Demand очень заманчиво выглядит для малого и среднего бизнеса, однако Snowflake хорошо позиционирует себя и для крупных оршанизаций, в том числе для банков, переезжающих в облако, – отметил генеральный директор компании Боб Маглиа, ветеран технологической отрасли, который прежде, чем присоединиться в 2014 году к Snowflake, более 20 лет проработал в Microsoft, а затем еще два года в Juniper Networks. – Хранилище данных превращается в одну из главных опорных точек, фундамент, который клиенты также вынуждены переносить в облако. Ведь если хранилище остается на их территории, все прочие многочисленные системы, выстраиваемые вокруг него, будут по-прежнему находиться там же. Стоимостная эффективность облака притягивает даже не испытывающие недостатка в финансовых средствах крупные предприятия и банки. И если у вас есть предприимчивые натуры, которым для реализации их очередной инициативы внезапно понадобится на пару часов тысяча сетевых узлов, они легко смогут их получить и быстро освободить, не платя впоследствии за эти ресурсы на протяжении всех 365 дней в году».

Архитектура Snowflake

Глобальная экспансия Snowflake

В настоящий момент Snowflake работает на платформе Amazon в четырех регионах: на западе США, на востоке США, во Франкфурте (Германия) и в Сиднее (Австралия). Через несколько недель планируется открытие филиала еще в одном европейском регионе. Новые капиталовложения помогут компании в течение ближайшего года закрепиться в Азии и Южной Америке. Примерно в эти же сроки в Snowflake намерены решить еще несколько задач.

• Предложить межрегиональную репликацию данных. В настоящее время хранилище Snowflake Data Sharehouse позволяет клиентам в реальном времени совместно использовать его ресурсы лишь там, где присутствует Amazon. Возможность репликации между континентами откроет двери для прихода глобальных корпораций.
• Охватить еще одного провайдера облачных сервисов. Конкретных компаний Маглиа пока не называет, но речь скорее всего идет о Microsoft Azure. Должна поддерживаться и репликация данных между различными провайдерами.
• Продолжить работу над обеспечением интероперабельности с различными инструментами, используемыми клиентами. Довольно часто клиенты применяют определенные инструменты и надстройки на протяжении многих лет, даже если вендор прекращает их обновлять. Такие компании хотят, чтобы новые системы также работали с уже имеющимися у них средствами.

Усиление конкуренции на рынке облачных хранилищ

В мире есть целый ряд игроков, предлагающих корпоративным заказчиками облачные хранилища. Snowflake приходится конкурировать, в частности, с Microsoft Azure SQL Data Warehouse, Google BigQuery и Cloud SQL – где пользователи могут запускать СУБД Oracle MySQL – а также с собственным хранилищем Amazon RedShift.

Но, по мнению Маглиа, оригинальная архитектура Snowflake обеспечивает этому решению преимущества перед традиционными SQL-базами данных в части масштабируемости даже при работе в облаке. Кроме того, в отличие от альтернативных вариантов noSQL (например, от Hadoop) это хранилище не требует каких-то специальных знаний и переподготовки персонала.

Большинство традиционных СУБД, а также RedShift и многие системы noSQL используют неразделяемую архитектуру, в которой подмножества данных распределяются между всеми вычислительными узлами системы, что исключает появление при организации связи узких мест, присущих системам с разделяемыми дисками. Но проблема заключается в том, что вычислительные ресурсы нельзя масштабировать отдельно от ресурсов хранения, и мощности многих систем становятся избыточными. Кроме того, независимо от числа добавленных процессоров, количество одновременно обрабатываемых запросов все равно ограничено объемом имеющейся оперативной памяти.

«Клиенты сталкиваются сегодня с тем, что мощностей развернутой на их собственной ИТ-инфраструктуре системы оказывается недостаточно, она перегружена, – пояснил Маглиа. – При этом у них есть возможность перехода в облако, и они намерены использовать ее, чтобы освободиться от текущих ограничений».

Архитектура Snowflake физически разделяет и логически интегрирует вычисления, хранение и сервисы

Хранилище Snowflake проектировалось в расчете на решение этой задачи в опоре на трехуровневую архитектуру:

• уровень хранения данных использует мощности Amazon S3 для размещения данных таблиц и результатов выполнения запросов;
• уровень виртуального хранилища управляет выполнением запросов в эластичных кластерах виртуальных машин, которые в Snowflake называются виртуальными хранилищами;
• уровень облачных сервисов осуществляет управление транзакциями, запросами, виртуальными хранилищами, метаданными, в том числе схемами баз данных, и доступом.

Архитектура позволяет множеству виртуальных хранилищ одновременно обрабатывать одни и те же данные, благодаря чему по масштабируемости параллелизма Snowflake значительно опережает своих конкурентов, не использующих разделяемые ресурсы.

Одна из потенциальных проблем связана с тем, что использование трехуровневой архитектуры может приводить к задержкам, но производительность, по словам Маглиа, можно поддерживать с помощью компилятора запросов, который функционирует на уровне сервисов и анализирует предикаты SQL-запроса вместе с метаданными, определяя таким образом данные для сканирования. «Цель заключается в том, чтобы сканировать как можно меньше данных», – пояснил он.

При этом следует помнить, что Snowflake не относится к категории продуктов, ориентированных на оперативную обработку транзакций (OLTP), и соперничать с Oracle и Microsoft SQL Server может только при решении аналитических по своей природе задач.

Между тем, разработчики уже видят перед собой новые горизонты. «Глобальным компаниям очень выгодно иметь глобальные базы данных, и именно в этом направлении мы намерены развиваться», – указал Маглиа.

Последнюю порцию инвестиций компания Snowflake получила от фондов ICONIQ Capital, Altimeter Capital и впервые вошедшего в ее капитал фонда Sequoia Capital.

Соглашение между Microsoft и BlackBerry предусматривает использование технологий безопасности и мобильных решений BlackBerry в облачных и офисных продуктах Microsoft. Компании создают новый сервис под названием BlackBerry Enterprise Bridge, который будет обеспечивать защиту корпоративных мобильных приложений Microsoft.

Приложения Office 365 будут работать в контейнерах BlackBerry Dynamics, что позволит единообразно работать с документами Excel, PowerPoint и Word на любых устройствах с системами iOS и Android. При этом BlackBerry Dynamics обеспечит контроль доступа к данным и соблюдение внутрикорпоративных и законодательных требований. Многим пользователям Office 365 была нужна повышенная безопасность мобильных приложений, и BlackBerry Enterprise Bridge способен ее обеспечить, говорится в заявлении компании BlackBerry.

В облачной платформе Microsoft Azure реализована поддержка платформы BlackBerry Secure, в том числе сервисов BlackBerry UEM Cloud, BlackBerry Workspaces, BlackBerry Dynamics и BlackBerry AtHoc.

Huawei открывает в России облачное направление бизнеса Huawei Cloud. Об этом заявили представители компании 20 марта, сообщив о создании в нашей стране совместно с оператором центров обработки данных 3data публичного облака Huawei 3data Cloud, телекоммуникационная поддержка работы которого осуществляется компанией «Мастертел».

Ван Вэй, директор направления Huawei Cloud в России, подчеркнул, что Россия стала двадцать лет назад первой страной выхода Huawei на международный рынок, а теперь именно здесь компания впервые начинает предоставлять облачные услуги за пределами Китая под собственной торговой маркой. До этого Huawei принимала участие в проектах таких операторов, работающих под своим брендом, как Deutsche Telekom, Orange Business Services, Telefonica Business Solutions.

Он пояснил, что публичное облако рассчитано на российские организации различного масштаба, особенно на компании, которые заинтересованы в привлечении ИТ-ресурсов в процессе цифровой трансформации своей деятельности. Стимулирующими факторами создания облака стал рост российского облачного рынка, который, по оценкам Huawei, увеличился на четверть в течение последнего года, а также государственная программа «Цифровая экономика».

По словам Артура Пярна, директора по решениям направления Huawei Cloud в России, серверы, системы хранения и сетевое оборудование, на которых базируется ИТ-инфраструктура Huawei 3data Cloud, произведены Huawei, поэтому компания имеет возможность оперативно наращивать свой пул ИТ-ресурсов, в том числе, для удовлетворения запросов крупных заказчиков.

В то же время, отметил Павел Вишняков, директор по стратегии направления Huawei Cloud в России, важен баланс между крупными клиентами и представителями среднего и малого бизнеса, что позволяет сглаживать колебания рыночной конъюнктуры и, потенциально, дает возможность рассчитывать на значительные объемы финансовых поступлений.

К преимуществам публичного облака, созданного вендором в нашей стране, в Huawei относят не только значительный резерв ресурсов, но и технологический опыт, накопленный компанией в облачных проектах в различных странах мира, а также полностью расположенную на территории России поддерживающую облако инфраструктуру.

Huawei является облачным провайдером в Китае. В состав его предложений входят, в том числе, вычислительные сервисы, услуги хранения данных и сетевые сервисы. На первом этапе развертывания Huawei 3data Cloud клиентам будут доступны 20 публичных облачных сервисов из этого набора, которые, как утверждают в Huawei, «позволяют построить полноценную облачную инфраструктуру с онлайновым управлением через кабинет самообслуживания или посредством задокументированных интерфейсов API».

Оборудование Huawei размещается в центре обработки данных компании 3data (см. «Шаговая доступность ЦОД как конкурентное преимущество», Computerworld Россия, 21 апреля 2017), который полностью зарезервирован для нужд Huawei 3data Cloud и не будет использоваться для сервисов collocation.

Там же размещается телекоммуникационный хаб компании «Мастертел», владеющей разветвленной волоконно-оптической сетью «Мастер-Коннект», охватывающей Москву и ближнее Подмосковье (см. «Сеть ‘клубных’ ЦОД», Computerworld Россия, 17 февраля 2014 ). Летом планируется ввести в действие второй узел публичного облака на базе еще одного полностью «облачного» дата-центра 3data.

Год назад в Huawei сформировали подразделение Cloud BU, которое занимается облачными вычислениями. В Москве в настоящее время оно представлено тремя десятками сотрудников, еще около двух сотен специалистов, работающих в других странах, поддерживают развертывание российского облака.

В Huawei подчеркивают, что одной из важнейших задач развития нового направления считают формирование экосистемы партнеров, участвующих в продаже сервисов публичного облака конечным заказчикам, а также в разработке новых инфраструктурных (SaaS) и платформенных (PaaS) сервисов, ориентированных на потребности российского рынка. Планируется, в том числе, сформировать магазин облачных приложений.

«Единым окном» новой облачной инфраструктуры для российских заказчиков является компания 3data. Она отвечает за договорные отношения с клиентами, а также за начальные уровни технической поддержки. «Между всеми участниками проекта существует внутреннее разделение ответственности в выполнении соглашений о предоставлении определенного качества обслуживания заказчикам», — подчеркнул Илья Хала, генеральный директор компании 3data. Наряду с этим существует также договоренность о распределении доходов между ними, подробности которой не разглашаются.

В настоящее время завершается бета-тестирование первой очереди облака, которое проводится вместе с некоторыми заказчиками. Ввод ее в действие намечен на апрель.

В Huawei утверждают, что в развертывание российского облака инвестировали десятки миллионов долларов, включая расходы на оборудование, разработку и персонал. Объемы дальнейших инвестиций будут определяться развитием облачного бизнеса, заявляют в компании. К концу года число облачных сервисов, доступных российским заказчикам, должно достичь пяти десятков.

В Huawei рассчитывают занять около 20% российского рынка облачных сервисов к 2020 году. В Forrester считают, что в период с 2017-го по 2020 год российский облачный рынок будет ежегодно расти более чем на 20%. По данным IDC, суммарный объем рынка облачных сервисов приблизится в России в 2021 году к 700 млн долл.

Облачные сервисы, особенно инфраструктура и платформа, предоставляемые в качестве сервиса (IaaS и PaaS соответственно), хорошо зарекомендовали себя, но в некоторых случаях клиентам требуется нечто большее – дополнительный контроль, доступ к оборудованию, увеличение производительности и возможность формирования своей собственной операционной среды.

В таких случаях они обращаются к «голому железу» (bare metal) – чисто аппаратным сервисам, популярность которых быстро растет.

Как следует из названия, чисто аппаратные сервисы не предполагают никакого программного обеспечения – только процессоры, память и подсистему хранения. Все программное обеспечение, начиная от операционной системы и далее, устанавливается по усмотрению самого клиента. Это означает, что он получает выделенный процессор, полный доступ к оборудованию и свободу в настройке операционных систем.

Авторы отчета 2016 Markets and Markets из одноименного аналитического агентства утверждают, что объем рынка чисто аппаратных облачных сервисов вырастет с 871,8 млн долл. в 2016 году до 4,7 млрд долл. в 2021-м. Ориентировочные темпы ежегодного роста составят 40,1%.

Небольшие размеры этого рынка объясняются в том числе и тем, что крупные игроки не спешат осваивать его. Amazon только сейчас начинает предлагать здесь свои услуги, да и то в единственной конфигурации. Microsoft предоставляет аппаратную среду VMware без участия самой VMware. У Google сколько-нибудь значительных аппаратных предложений вообще нет.

Крупнейшим поставщиком на сегодняшний день остается корпорация IBM, предлагающая услуги провайдера центров обработки данныхSoftLayer, приобретенного ею в 2013 году. Среди других известных имен, поддерживающих аппаратные сервисы, можно назвать компании Oracle и Rackspace, а совсем недавно китайский гигант Alibaba также анонсировал планы поддержки чисто аппаратных решений. Остаются лишь игроки второго эшелона и региональные провайдеры.

Однако Дипак Мохан, возглавляющий в IDC направление исследований публичной облачной инфраструктуры, предоставляемой в качестве сервиса, уверен, что вскоре все изменится. «Похоже, на рынок обрушивается новая волна чисто аппаратных сервисов, – отметил он. – Я полагаю, что к концу нынешнего года такие решения начнут предлагать все».

На своей территории или в облаке

Поставщики чисто аппаратных сервисов призывают клиентов отказаться от собственных ЦОДов. По словам директора IBM Cloud по управлению вычислительными предложениями Джея Джубрана, большинство корпоративных клиентов IBM хотят перенести существующие приложения в облако и продолжить работать с теми же самыми инструментами. Приложения при этом останутся в неизменном виде, но будут запускаться в ЦОДе самой IBM, а не в клиентском ЦОДе.

«Чисто аппаратные решения представляют собой шаг в правильном направлении, и вам не придется менять свои процессы и процедуры, – указал Джубран. – Вы просто получите доступ к оборудованию, располагающемуся где-то в другом месте, и сможете начать применять облачные технологии».

Не случайно двумя главными провайдерами чисто аппаратных сервисов стали IBM и Oracle. Два крупнейших в мире разработчика корпоративного программного обеспечения чувствуют наступление со стороны облака. Одна из причин заключается в том, что их лицензии не позволяют использовать программное обеспечение в средах множественной аренды, где нелицензированная рабочая нагрузка оказывается на том же сервере, что и технологии IBM и Oracle, должны образом лицензированные клиентом.

Благодаря чисто аппаратным сервисам организации смогут перемещать IBM DB2 и Oracle 12 в облака IBM или Oracle без каких-либо модификаций и запускать эти мощные СУБД наряду с другими корпоративными приложениями на серверах IBM и Oracle, а не на своих собственных.

«Программный пакет, запускаемый на своей территории, вы можете перенести в облака без каких-либо потерь в производительности, – подчеркнул Мохан. – Это особенно актуально при использовании программных пакетов, которые предъявляют повышенные требования к производительности и используют преимущества чисто аппаратных решений, в частности, для аналитических приложений и СУБД старшего класса».

Решение вопросов производительности в облаке

Помимо переноса приложений при продаже чисто аппаратных сервисов упор делается на три основных момента: производительность, доступ к оборудованию и возможность настройки и адаптации. В виртуальной среде вы делите ресурсы процессора и памяти с другими клиентами, и производительность существенно меняется от одного экземпляра к другому.

Вопросы производительности выходят на передний план из-за явления, называемого «шумным соседом». Когда клиенты запускают виртуальную машину в публичном облаке, они не знают, какой рабочей нагрузкой на том же оборудовании оперируют другие клиенты. В результате между ними возникает конкуренция за процессорные циклы и ресурсы памяти.

Такая неопределенность приводит к интересным результатам, когда некоторые клиенты Amazon EC2 запускают сотню или даже больше виртуальных машин, тестируют их с одинаковой рабочей нагрузкой и завершают работу экземпляров, демонстрирующих низкую производительность.

«Возможен сценарий, при котором вы запускаете какую-то задачу, а через какое-то время, запуская ее снова, получаете лишь половину производительности, достигнутой в предыдущем экземпляре, – пояснил Зак Смит, директор компании Packet, предоставляющей своим клиентам сервисы bare metal. – В чисто аппаратной среде такого не происходит. Здесь все работает вполне предсказуемо».

Такая проблема преследовала одного из клиентов Packet – стартап NS1, предоставляющий услуги DNS и сервисы управления трафиком для сбалансирования нагрузки между различными ЦОДами. Такие сервисы очень чувствительны к задержкам и производительности в целом.

«Мы столкнулись с весьма шумными соседями и не могли гарантировать нужную производительность в любое время, поскольку аппаратные ресурсы периодически занимали другие, – сообщил старший сетевой архитектор NS1 Натанель Жан-Франсуа. Производительность варьировалась в широких пределах, что затрудняло нашу работу. Поэтому мы решили перейти туда, где являемся единственными арендаторами и можем выполнять все так, как нам нужно».

По его словам, производительность в течение дня периодически снижалась на 5-20%, а чисто аппаратный сервис помог справиться с этими трудностями.

Выделенное оборудование

Вторым преимуществом чисто аппаратных сервисов является возможность доступа к оборудованию. Виртуальные среды ограничивают доступ к оборудованию, в том числе и к сетевым адаптерам. Но клиентам он вполне может понадобиться для ускорения передачи определенных пакетов с использованием DPDK – набора библиотек для быстрой обработки пакетов. В виртуальной среде такой доступ если и есть, то в весьма ограниченном и виртуализированном виде.

Настройка и адаптация

И наконец, чисто аппаратные сервисы позволяют клиентам сформировать среду по своему усмотрению. В EC2 или Google Compute Engine доступна лишь готовая среда Linux без возможности внесения в нее каких-либо изменений.

Недостатки чисто аппаратных сервисов

К недостаткам здесь следует отнести отсутствие поддержки программного обеспечения. В экземпляре Amazon EC2 уже проделана большая работа. Клиенты просто загружают свои приложения и программный код. В чисто аппаратных сервисах наполнение аппаратного обеспечения программным ложится на плечи клиента, а не поставщика. Жан-Франсуа подчеркивает: «Многое здесь вам придется выстраивать самостоятельно, но здесь нет ничего невозможного».

Смит убежден в том, что нагрузка на чисто аппаратные сервисы в ближайшем будущем начнет расти и приобретет более специализированный характер. «Думаю, что через год здесь будет больше аппаратных средств, а нагрузка на графические процессоры, интеллектуальные сетевые адаптеры и микросхемы FPGA вырастет, – заметил он. – Начнет появляться все больше и больше специализированного оборудования, увеличится и число клиентов, выбирающих чисто аппаратные сервисы».

Мохан считает, что переход на чисто аппаратные сервисы будет происходить не так быстро, как это было с виртуальными средами. «Речь идет об адаптированных приложениях, а на их перенос в облако требуется больше времени, – указал он. – Но даже если это займет полгода или год, думаю, что такой путь окажется предпочтителен для всех, кто хочет перейти на обслуживание в облаке. В конечном итоге это наверняка произойдет. Мы достигнем той точки, за которой преимущества новых сервисов получат признание рынка, поскольку компании, перемещающиеся в облако, хотят иметь больше свободы, чем им предоставляют сейчас».

Облачные сервисы, особенно инфраструктура и платформа, предоставляемые в качестве сервиса (IaaS и PaaS соответственно), хорошо зарекомендовали себя, но в некоторых случаях клиентам требуется нечто большее – дополнительный контроль, доступ к оборудованию, увеличение производительности и возможность формирования своей собственной операционной среды.

В таких случаях они обращаются к «голому железу» (bare metal) – чисто аппаратным сервисам, популярность которых быстро растет.

Как следует из названия, чисто аппаратные сервисы не предполагают никакого программного обеспечения – только процессоры, память и подсистему хранения. Все программное обеспечение, начиная от операционной системы и далее, устанавливается по усмотрению самого клиента. Это означает, что он получает выделенный процессор, полный доступ к оборудованию и свободу в настройке операционных систем.

Авторы отчета 2016 Markets and Markets из одноименного аналитического агентства утверждают, что объем рынка чисто аппаратных облачных сервисов вырастет с 871,8 млн долл. в 2016 году до 4,7 млрд долл. в 2021-м. Ориентировочные темпы ежегодного роста составят 40,1%.

Небольшие размеры этого рынка объясняются в том числе и тем, что крупные игроки не спешат осваивать его. Amazon только сейчас начинает предлагать здесь свои услуги, да и то в единственной конфигурации. Microsoft предоставляет аппаратную среду VMware без участия самой VMware. У Google сколько-нибудь значительных аппаратных предложений вообще нет.

Крупнейшим поставщиком на сегодняшний день остается корпорация IBM, предлагающая услуги провайдера центров обработки данныхSoftLayer, приобретенного ею в 2013 году. Среди других известных имен, поддерживающих аппаратные сервисы, можно назвать компании Oracle и Rackspace, а совсем недавно китайский гигант Alibaba также анонсировал планы поддержки чисто аппаратных решений. Остаются лишь игроки второго эшелона и региональные провайдеры.

Однако Дипак Мохан, возглавляющий в IDC направление исследований публичной облачной инфраструктуры, предоставляемой в качестве сервиса, уверен, что вскоре все изменится. «Похоже, на рынок обрушивается новая волна чисто аппаратных сервисов, – отметил он. – Я полагаю, что к концу нынешнего года такие решения начнут предлагать все».

На своей территории или в облаке

Поставщики чисто аппаратных сервисов призывают клиентов отказаться от собственных ЦОДов. По словам директора IBM Cloud по управлению вычислительными предложениями Джея Джубрана, большинство корпоративных клиентов IBM хотят перенести существующие приложения в облако и продолжить работать с теми же самыми инструментами. Приложения при этом останутся в неизменном виде, но будут запускаться в ЦОДе самой IBM, а не в клиентском ЦОДе.

«Чисто аппаратные решения представляют собой шаг в правильном направлении, и вам не придется менять свои процессы и процедуры, – указал Джубран. – Вы просто получите доступ к оборудованию, располагающемуся где-то в другом месте, и сможете начать применять облачные технологии».

Не случайно двумя главными провайдерами чисто аппаратных сервисов стали IBM и Oracle. Два крупнейших в мире разработчика корпоративного программного обеспечения чувствуют наступление со стороны облака. Одна из причин заключается в том, что их лицензии не позволяют использовать программное обеспечение в средах множественной аренды, где нелицензированная рабочая нагрузка оказывается на том же сервере, что и технологии IBM и Oracle, должны образом лицензированные клиентом.

Благодаря чисто аппаратным сервисам организации смогут перемещать IBM DB2 и Oracle 12 в облака IBM или Oracle без каких-либо модификаций и запускать эти мощные СУБД наряду с другими корпоративными приложениями на серверах IBM и Oracle, а не на своих собственных.

«Программный пакет, запускаемый на своей территории, вы можете перенести в облака без каких-либо потерь в производительности, – подчеркнул Мохан. – Это особенно актуально при использовании программных пакетов, которые предъявляют повышенные требования к производительности и используют преимущества чисто аппаратных решений, в частности, для аналитических приложений и СУБД старшего класса».

Решение вопросов производительности в облаке

Помимо переноса приложений при продаже чисто аппаратных сервисов упор делается на три основных момента: производительность, доступ к оборудованию и возможность настройки и адаптации. В виртуальной среде вы делите ресурсы процессора и памяти с другими клиентами, и производительность существенно меняется от одного экземпляра к другому.

Вопросы производительности выходят на передний план из-за явления, называемого «шумным соседом». Когда клиенты запускают виртуальную машину в публичном облаке, они не знают, какой рабочей нагрузкой на том же оборудовании оперируют другие клиенты. В результате между ними возникает конкуренция за процессорные циклы и ресурсы памяти.

Такая неопределенность приводит к интересным результатам, когда некоторые клиенты Amazon EC2 запускают сотню или даже больше виртуальных машин, тестируют их с одинаковой рабочей нагрузкой и завершают работу экземпляров, демонстрирующих низкую производительность.

«Возможен сценарий, при котором вы запускаете какую-то задачу, а через какое-то время, запуская ее снова, получаете лишь половину производительности, достигнутой в предыдущем экземпляре, – пояснил Зак Смит, директор компании Packet, предоставляющей своим клиентам сервисы bare metal. – В чисто аппаратной среде такого не происходит. Здесь все работает вполне предсказуемо».

Такая проблема преследовала одного из клиентов Packet – стартап NS1, предоставляющий услуги DNS и сервисы управления трафиком для сбалансирования нагрузки между различными ЦОДами. Такие сервисы очень чувствительны к задержкам и производительности в целом.

«Мы столкнулись с весьма шумными соседями и не могли гарантировать нужную производительность в любое время, поскольку аппаратные ресурсы периодически занимали другие, – сообщил старший сетевой архитектор NS1 Натанель Жан-Франсуа. Производительность варьировалась в широких пределах, что затрудняло нашу работу. Поэтому мы решили перейти туда, где являемся единственными арендаторами и можем выполнять все так, как нам нужно».

По его словам, производительность в течение дня периодически снижалась на 5-20%, а чисто аппаратный сервис помог справиться с этими трудностями.

Выделенное оборудование

Вторым преимуществом чисто аппаратных сервисов является возможность доступа к оборудованию. Виртуальные среды ограничивают доступ к оборудованию, в том числе и к сетевым адаптерам. Но клиентам он вполне может понадобиться для ускорения передачи определенных пакетов с использованием DPDK – набора библиотек для быстрой обработки пакетов. В виртуальной среде такой доступ если и есть, то в весьма ограниченном и виртуализированном виде.

Настройка и адаптация

И наконец, чисто аппаратные сервисы позволяют клиентам сформировать среду по своему усмотрению. В EC2 или Google Compute Engine доступна лишь готовая среда Linux без возможности внесения в нее каких-либо изменений.

Недостатки чисто аппаратных сервисов

К недостаткам здесь следует отнести отсутствие поддержки программного обеспечения. В экземпляре Amazon EC2 уже проделана большая работа. Клиенты просто загружают свои приложения и программный код. В чисто аппаратных сервисах наполнение аппаратного обеспечения программным ложится на плечи клиента, а не поставщика. Жан-Франсуа подчеркивает: «Многое здесь вам придется выстраивать самостоятельно, но здесь нет ничего невозможного».

Смит убежден в том, что нагрузка на чисто аппаратные сервисы в ближайшем будущем начнет расти и приобретет более специализированный характер. «Думаю, что через год здесь будет больше аппаратных средств, а нагрузка на графические процессоры, интеллектуальные сетевые адаптеры и микросхемы FPGA вырастет, – заметил он. – Начнет появляться все больше и больше специализированного оборудования, увеличится и число клиентов, выбирающих чисто аппаратные сервисы».

Мохан считает, что переход на чисто аппаратные сервисы будет происходить не так быстро, как это было с виртуальными средами. «Речь идет об адаптированных приложениях, а на их перенос в облако требуется больше времени, – указал он. – Но даже если это займет полгода или год, думаю, что такой путь окажется предпочтителен для всех, кто хочет перейти на обслуживание в облаке. В конечном итоге это наверняка произойдет. Мы достигнем той точки, за которой преимущества новых сервисов получат признание рынка, поскольку компании, перемещающиеся в облако, хотят иметь больше свободы, чем им предоставляют сейчас».

Облачные сервисы, особенно инфраструктура и платформа, предоставляемые в качестве сервиса (IaaS и PaaS соответственно), хорошо зарекомендовали себя, но в некоторых случаях клиентам требуется нечто большее – дополнительный контроль, доступ к оборудованию, увеличение производительности и возможность формирования своей собственной операционной среды.

В таких случаях они обращаются к «голому железу» (bare metal) – чисто аппаратным сервисам, популярность которых быстро растет.

Как следует из названия, чисто аппаратные сервисы не предполагают никакого программного обеспечения – только процессоры, память и подсистему хранения. Все программное обеспечение, начиная от операционной системы и далее, устанавливается по усмотрению самого клиента. Это означает, что он получает выделенный процессор, полный доступ к оборудованию и свободу в настройке операционных систем.

Авторы отчета 2016 Markets and Markets из одноименного аналитического агентства утверждают, что объем рынка чисто аппаратных облачных сервисов вырастет с 871,8 млн долл. в 2016 году до 4,7 млрд долл. в 2021-м. Ориентировочные темпы ежегодного роста составят 40,1%.

Небольшие размеры этого рынка объясняются в том числе и тем, что крупные игроки не спешат осваивать его. Amazon только сейчас начинает предлагать здесь свои услуги, да и то в единственной конфигурации. Microsoft предоставляет аппаратную среду VMware без участия самой VMware. У Google сколько-нибудь значительных аппаратных предложений вообще нет.

Крупнейшим поставщиком на сегодняшний день остается корпорация IBM, предлагающая услуги провайдера центров обработки данныхSoftLayer, приобретенного ею в 2013 году. Среди других известных имен, поддерживающих аппаратные сервисы, можно назвать компании Oracle и Rackspace, а совсем недавно китайский гигант Alibaba также анонсировал планы поддержки чисто аппаратных решений. Остаются лишь игроки второго эшелона и региональные провайдеры.

Однако Дипак Мохан, возглавляющий в IDC направление исследований публичной облачной инфраструктуры, предоставляемой в качестве сервиса, уверен, что вскоре все изменится. «Похоже, на рынок обрушивается новая волна чисто аппаратных сервисов, – отметил он. – Я полагаю, что к концу нынешнего года такие решения начнут предлагать все».

На своей территории или в облаке

Поставщики чисто аппаратных сервисов призывают клиентов отказаться от собственных ЦОДов. По словам директора IBM Cloud по управлению вычислительными предложениями Джея Джубрана, большинство корпоративных клиентов IBM хотят перенести существующие приложения в облако и продолжить работать с теми же самыми инструментами. Приложения при этом останутся в неизменном виде, но будут запускаться в ЦОДе самой IBM, а не в клиентском ЦОДе.

«Чисто аппаратные решения представляют собой шаг в правильном направлении, и вам не придется менять свои процессы и процедуры, – указал Джубран. – Вы просто получите доступ к оборудованию, располагающемуся где-то в другом месте, и сможете начать применять облачные технологии».

Не случайно двумя главными провайдерами чисто аппаратных сервисов стали IBM и Oracle. Два крупнейших в мире разработчика корпоративного программного обеспечения чувствуют наступление со стороны облака. Одна из причин заключается в том, что их лицензии не позволяют использовать программное обеспечение в средах множественной аренды, где нелицензированная рабочая нагрузка оказывается на том же сервере, что и технологии IBM и Oracle, должны образом лицензированные клиентом.

Благодаря чисто аппаратным сервисам организации смогут перемещать IBM DB2 и Oracle 12 в облака IBM или Oracle без каких-либо модификаций и запускать эти мощные СУБД наряду с другими корпоративными приложениями на серверах IBM и Oracle, а не на своих собственных.

«Программный пакет, запускаемый на своей территории, вы можете перенести в облака без каких-либо потерь в производительности, – подчеркнул Мохан. – Это особенно актуально при использовании программных пакетов, которые предъявляют повышенные требования к производительности и используют преимущества чисто аппаратных решений, в частности, для аналитических приложений и СУБД старшего класса».

Решение вопросов производительности в облаке

Помимо переноса приложений при продаже чисто аппаратных сервисов упор делается на три основных момента: производительность, доступ к оборудованию и возможность настройки и адаптации. В виртуальной среде вы делите ресурсы процессора и памяти с другими клиентами, и производительность существенно меняется от одного экземпляра к другому.

Вопросы производительности выходят на передний план из-за явления, называемого «шумным соседом». Когда клиенты запускают виртуальную машину в публичном облаке, они не знают, какой рабочей нагрузкой на том же оборудовании оперируют другие клиенты. В результате между ними возникает конкуренция за процессорные циклы и ресурсы памяти.

Такая неопределенность приводит к интересным результатам, когда некоторые клиенты Amazon EC2 запускают сотню или даже больше виртуальных машин, тестируют их с одинаковой рабочей нагрузкой и завершают работу экземпляров, демонстрирующих низкую производительность.

«Возможен сценарий, при котором вы запускаете какую-то задачу, а через какое-то время, запуская ее снова, получаете лишь половину производительности, достигнутой в предыдущем экземпляре, – пояснил Зак Смит, директор компании Packet, предоставляющей своим клиентам сервисы bare metal. – В чисто аппаратной среде такого не происходит. Здесь все работает вполне предсказуемо».

Такая проблема преследовала одного из клиентов Packet – стартап NS1, предоставляющий услуги DNS и сервисы управления трафиком для сбалансирования нагрузки между различными ЦОДами. Такие сервисы очень чувствительны к задержкам и производительности в целом.

«Мы столкнулись с весьма шумными соседями и не могли гарантировать нужную производительность в любое время, поскольку аппаратные ресурсы периодически занимали другие, – сообщил старший сетевой архитектор NS1 Натанель Жан-Франсуа. Производительность варьировалась в широких пределах, что затрудняло нашу работу. Поэтому мы решили перейти туда, где являемся единственными арендаторами и можем выполнять все так, как нам нужно».

По его словам, производительность в течение дня периодически снижалась на 5-20%, а чисто аппаратный сервис помог справиться с этими трудностями.

Выделенное оборудование

Вторым преимуществом чисто аппаратных сервисов является возможность доступа к оборудованию. Виртуальные среды ограничивают доступ к оборудованию, в том числе и к сетевым адаптерам. Но клиентам он вполне может понадобиться для ускорения передачи определенных пакетов с использованием DPDK – набора библиотек для быстрой обработки пакетов. В виртуальной среде такой доступ если и есть, то в весьма ограниченном и виртуализированном виде.

Настройка и адаптация

И наконец, чисто аппаратные сервисы позволяют клиентам сформировать среду по своему усмотрению. В EC2 или Google Compute Engine доступна лишь готовая среда Linux без возможности внесения в нее каких-либо изменений.

Недостатки чисто аппаратных сервисов

К недостаткам здесь следует отнести отсутствие поддержки программного обеспечения. В экземпляре Amazon EC2 уже проделана большая работа. Клиенты просто загружают свои приложения и программный код. В чисто аппаратных сервисах наполнение аппаратного обеспечения программным ложится на плечи клиента, а не поставщика. Жан-Франсуа подчеркивает: «Многое здесь вам придется выстраивать самостоятельно, но здесь нет ничего невозможного».

Смит убежден в том, что нагрузка на чисто аппаратные сервисы в ближайшем будущем начнет расти и приобретет более специализированный характер. «Думаю, что через год здесь будет больше аппаратных средств, а нагрузка на графические процессоры, интеллектуальные сетевые адаптеры и микросхемы FPGA вырастет, – заметил он. – Начнет появляться все больше и больше специализированного оборудования, увеличится и число клиентов, выбирающих чисто аппаратные сервисы».

Мохан считает, что переход на чисто аппаратные сервисы будет происходить не так быстро, как это было с виртуальными средами. «Речь идет об адаптированных приложениях, а на их перенос в облако требуется больше времени, – указал он. – Но даже если это займет полгода или год, думаю, что такой путь окажется предпочтителен для всех, кто хочет перейти на обслуживание в облаке. В конечном итоге это наверняка произойдет. Мы достигнем той точки, за которой преимущества новых сервисов получат признание рынка, поскольку компании, перемещающиеся в облако, хотят иметь больше свободы, чем им предоставляют сейчас».

Стремясь привлечь больше корпоративных клиентов в свое облако, в Oracle предлагают новые средства автоматизации в PaaS-сервисах. Утверждается, что это поможет клиентам сократить затраты и упростит управление.

Корпорация использует технологии искусственного интеллекта, в том числе машинное обучение, в сервисах Oracle Cloud Platform для организации самообслуживания при технической поддержке, в том числе, в процессах автоматической оптимизации рабочей нагрузки и установки обновлений.

Общий посыл руководителям ИТ-служб понятен. «Новые средства помогают сократить затраты и поднять производительность, – указал исполнительный вице-президент Oracle Cloud Platform по вопросам разработки продуктов Амит Завери. – Мы хотим исключить человеческий труд, связанный со доставкой сервисов, обновлением, резервным копированием, восстановлением и устранением сбоев. Получая новые сервисы, помогающие самообслуживанию, ИТ-руководитель может сосредоточиться на более глобальных задачах, например на стратегических инициативах».

Автоматизация как конкурентное преимущество

Благодаря автоматизации Oracle пытается выиграть конкуренцию у Amazon и Microsoft, которые имеют больший «стаж» работы в облаке и к тому же занимают большую часть рынка.

В октябре 2017 года на конференции Oracle OpenWorld был анонсирован сервис Autonomous Database Cloud на базе СУБД Oracle Database 18c. В ближайшие несколько месяцев, как было заявлено на недавней конференции CloudWorld, функции автономной настройки 18c планируется перенести на всю облачную платформу Oracle.

От провайдеров облачных сервисов пользователи ждут установки обновлений и предоставления необходимых ресурсов в рамках базового обслуживания. Но, по словам Завери, PaaS-сервисы во многих случаях по-прежнему требуют вмешательства человека: «Зачастую обновление не происходит автоматически, и многие системы не получают нужных обновлений регулярно».

Для расширения специфичных функций, предоставляемых PaaS-сервисами разработки приложений, интеграции приложений и данных, проведения анализа и обеспечения безопасности, в Oracle стараются использовать возможности машинного обучения и различные автоматизированные сервисы.

Искусственный интеллект для интеграции данных, аналитики и безопасности

Сервисы разработки приложений будут включать в себя технологию чатботов, чтобы разработчикам стало легче интегрировать чатботы в свои приложения. В Oracle смоделировали различные сценарии чатботов, благодаря которым разработчикам не нужно начинать с нуля, и встроили в программное обеспечение средства машинного обучения, улучшающие понимание чатботами намерений пользователей. Также поддерживается автоматическая идентификация и внесение в код изменений, укрепляющих безопасность.

Новые приложения и функции интеграции данных создавались с прицелом на автоматизацию прохождения информационных потоков с помощью конвейера подготовки данных и создания озер данных. В Oracle хорошо понимают, как должны выглядеть схемы и структуры баз данных и обладают богатым опытом клиентской интеграции. «После того как пользователь определит, что именно он хочет интегрировать, мы можем взять на себя подключение систем, выполнить необходимые отображения и поддерживать связь между оконечными узлами», – отметил Завери.

Средства подготовки данных на основе машинного обучения выполняют очистку и предварительную обработку, которая может использоваться в озерах данных и для обнаружения данных. Oracle, помимо своих традиционно известных реляционных СУБД, предлагает еще СУБД NoSQL-типа и сервисы Hadoop и Spark для неструктурированных данных.

Новые средства управления и обеспечения безопасности используют машинное обучение для лучшего понимания поведения пользователей и предотвращения утечек из хранилищ структурированных и неструктурированных данных.

У Oracle есть серьезные стимулы делать все возможное, чтобы выгодно отличаться от лидеров облачного рынка — Amazon, Microsoft и Google. В сегменте PaaS конкурентом Oracle является еще и Salesforce. Сегодня корпоративные клиенты активно переходят в облако, они стали тратить меньше денег на традиционные приложения и СУБД, развертываемые в рамках их собственной ИТ-инфраструктуры.

Рост IaaS и PaaS уже налицо, но до лидеров еще далеко

В последнем финансовом отчете по итогам квартала, завершившегося 30 ноября, корпорация констатировала стабильность поступлений от продажи лицензий на программное обеспечение по сравнению с прошлым годом. Хорошей новостью для Oracle стал общий рост облачных доходов на 44%, а совместный объем продаж IaaS и PaaS увеличился на 21%. (Отдельно результаты PaaS и IaaS в Oracle не учитываются.) В абсолютном выражении, однако, доходы от продаж традиционного программного обеспечения по-прежнему значительно опережают облачные доходы – 7,8 млрд против 1,5 млрд долл.

В настоящее время основное внимание Oracle уделяет существующим клиентам, которые, стремясь сохранить инвестиции в традиционное программное обеспечение компании, осуществляют переход на ее гибридные системы и облачную технологию. Но для устойчивого роста продаж этого недостаточно.

По прогнозам самой компании, в текущем квартале объем продаж облачных сервисов вырастет на 21-25%, тогда как аналитики ожидали роста на уровне 30%.

Oracle обладает огромной базой пользователей реляционных СУБД, но на облачном фронте ей еще только предстоит завоевать симпатии клиентов.

Применяя технологии искусственного интеллекта и автоматизацию, корпорация как раз и рассчитывает привлечь новых пользователей к облачным сервисам.

Между тем сообщается об открытии новых центров обработки данных в 12 регионах: в Азии и на Ближнем Востоке Oracle развернула активность в Китае, Индии, Японии, Саудовской Аравии, Сингапуре и Южной Корее; в Европе ее ЦОДы располагаются в Нидерландах и Швейцарии; в Северной Америке два новых ЦОДа размещены в Канаде и еще два, обслуживающие Пентагон, – в США.

Стремясь привлечь больше корпоративных клиентов в свое облако, в Oracle предлагают новые средства автоматизации в PaaS-сервисах. Утверждается, что это поможет клиентам сократить затраты и упростит управление.

Корпорация использует технологии искусственного интеллекта, в том числе машинное обучение, в сервисах Oracle Cloud Platform для организации самообслуживания при технической поддержке, в том числе, в процессах автоматической оптимизации рабочей нагрузки и установки обновлений.

Общий посыл руководителям ИТ-служб понятен. «Новые средства помогают сократить затраты и поднять производительность, – указал исполнительный вице-президент Oracle Cloud Platform по вопросам разработки продуктов Амит Завери. – Мы хотим исключить человеческий труд, связанный со доставкой сервисов, обновлением, резервным копированием, восстановлением и устранением сбоев. Получая новые сервисы, помогающие самообслуживанию, ИТ-руководитель может сосредоточиться на более глобальных задачах, например на стратегических инициативах».

Автоматизация как конкурентное преимущество

Благодаря автоматизации Oracle пытается выиграть конкуренцию у Amazon и Microsoft, которые имеют больший «стаж» работы в облаке и к тому же занимают большую часть рынка.

В октябре 2017 года на конференции Oracle OpenWorld был анонсирован сервис Autonomous Database Cloud на базе СУБД Oracle Database 18c. В ближайшие несколько месяцев, как было заявлено на недавней конференции CloudWorld, функции автономной настройки 18c планируется перенести на всю облачную платформу Oracle.

От провайдеров облачных сервисов пользователи ждут установки обновлений и предоставления необходимых ресурсов в рамках базового обслуживания. Но, по словам Завери, PaaS-сервисы во многих случаях по-прежнему требуют вмешательства человека: «Зачастую обновление не происходит автоматически, и многие системы не получают нужных обновлений регулярно».

Для расширения специфичных функций, предоставляемых PaaS-сервисами разработки приложений, интеграции приложений и данных, проведения анализа и обеспечения безопасности, в Oracle стараются использовать возможности машинного обучения и различные автоматизированные сервисы.

Искусственный интеллект для интеграции данных, аналитики и безопасности

Сервисы разработки приложений будут включать в себя технологию чатботов, чтобы разработчикам стало легче интегрировать чатботы в свои приложения. В Oracle смоделировали различные сценарии чатботов, благодаря которым разработчикам не нужно начинать с нуля, и встроили в программное обеспечение средства машинного обучения, улучшающие понимание чатботами намерений пользователей. Также поддерживается автоматическая идентификация и внесение в код изменений, укрепляющих безопасность.

Новые приложения и функции интеграции данных создавались с прицелом на автоматизацию прохождения информационных потоков с помощью конвейера подготовки данных и создания озер данных. В Oracle хорошо понимают, как должны выглядеть схемы и структуры баз данных и обладают богатым опытом клиентской интеграции. «После того как пользователь определит, что именно он хочет интегрировать, мы можем взять на себя подключение систем, выполнить необходимые отображения и поддерживать связь между оконечными узлами», – отметил Завери.

Средства подготовки данных на основе машинного обучения выполняют очистку и предварительную обработку, которая может использоваться в озерах данных и для обнаружения данных. Oracle, помимо своих традиционно известных реляционных СУБД, предлагает еще СУБД NoSQL-типа и сервисы Hadoop и Spark для неструктурированных данных.

Новые средства управления и обеспечения безопасности используют машинное обучение для лучшего понимания поведения пользователей и предотвращения утечек из хранилищ структурированных и неструктурированных данных.

У Oracle есть серьезные стимулы делать все возможное, чтобы выгодно отличаться от лидеров облачного рынка — Amazon, Microsoft и Google. В сегменте PaaS конкурентом Oracle является еще и Salesforce. Сегодня корпоративные клиенты активно переходят в облако, они стали тратить меньше денег на традиционные приложения и СУБД, развертываемые в рамках их собственной ИТ-инфраструктуры.

Рост IaaS и PaaS уже налицо, но до лидеров еще далеко

В последнем финансовом отчете по итогам квартала, завершившегося 30 ноября, корпорация констатировала стабильность поступлений от продажи лицензий на программное обеспечение по сравнению с прошлым годом. Хорошей новостью для Oracle стал общий рост облачных доходов на 44%, а совместный объем продаж IaaS и PaaS увеличился на 21%. (Отдельно результаты PaaS и IaaS в Oracle не учитываются.) В абсолютном выражении, однако, доходы от продаж традиционного программного обеспечения по-прежнему значительно опережают облачные доходы – 7,8 млрд против 1,5 млрд долл.

В настоящее время основное внимание Oracle уделяет существующим клиентам, которые, стремясь сохранить инвестиции в традиционное программное обеспечение компании, осуществляют переход на ее гибридные системы и облачную технологию. Но для устойчивого роста продаж этого недостаточно.

По прогнозам самой компании, в текущем квартале объем продаж облачных сервисов вырастет на 21-25%, тогда как аналитики ожидали роста на уровне 30%.

Oracle обладает огромной базой пользователей реляционных СУБД, но на облачном фронте ей еще только предстоит завоевать симпатии клиентов.

Применяя технологии искусственного интеллекта и автоматизацию, корпорация как раз и рассчитывает привлечь новых пользователей к облачным сервисам.

Между тем сообщается об открытии новых центров обработки данных в 12 регионах: в Азии и на Ближнем Востоке Oracle развернула активность в Китае, Индии, Японии, Саудовской Аравии, Сингапуре и Южной Корее; в Европе ее ЦОДы располагаются в Нидерландах и Швейцарии; в Северной Америке два новых ЦОДа размещены в Канаде и еще два, обслуживающие Пентагон, – в США.