Как подчеркивают в корпорации Microsoft, ее облачная СУБД Cosmos DB обеспечивает простоту глобального масштабирования приложений. Сервис позволяет хранить данные, тиражируя их в любые из регионов, обслуживаемых публичным облаком Azure.

Cosmos — это новое название DocumentDB, управляемой нереляционной СУБД в виде сервиса, которую Microsoft предлагает начиная с 2015 года. Ключевая особенность Cosmos DB в том, что разработчики могут выбрать любую из пяти моделей согласованности, от «сильной» до «согласованности в конечном счете».

Сервис позволяет сохранять данные и осуществлять к ним доступ с помощью различных интерфейсов программирования, в том числе DocumentDB, MongoDB, SQL, Gremlin и Azure Tables. В Microsoft гарантируют доступность данных на уровне 99,99%, а также обещает, что для 99,99% пользователей время отклика СУБД в регионах с тиражируемыми копиями базы будет меньше 10 мс. Аналогичные гарантии даются в отношении согласованности и пропускной способности СУБД.

Глобально-распределенные базы данных наподобие Cosmos способствуют росту популярности облаков. Когда мобильное приложение физически выполняется далеко от центра обработки данных, его запросы обслуживаются с большей задержкой, а Cosmos DB позволит разработчикам использовать глобальность сети центров обработки данных Microsoft, чтобы лучше обслуживать приложения в разных странах мира.

Новшество поможет корпорации конкурировать с другими операторами публичных облаков, например с Amazon Web Services и Google. У этих обеих компаний есть свои управляемые сервисы СУБД, но Cosmos DB выделяется набором гарантий, глобальным масштабом и возможностью выбрать уровень согласованности.

Для сильной согласованности предоставляется гарантия получать самых свежих данных за счет некоторого снижения производительности — этот вариант может подойти для приложений, используемых в финансовой сфере. Однако пользователи, выбравшие сильную согласованность, лишаются возможности тиражировать базы данных на несколько регионов.

На противоположном конце шкалы — согласованность в конечном счете. При выборе этого варианта СУБД будет реагировать быстрее, но данные не всегда могут быть самыми свежими. На данном уровне согласованности обеспечивается глобальное тиражирование и предлагается самый низкий тариф в расчете на операцию считывания данных.

Два этих крайних варианта выбрали меньше 10% всех пользователей DocumentDB. Чаще отдают предпочтение промежуточным уровням, например, предсказуемой согласованности на протяжении сеанса. Такой вариант дает пользователю возможность считать из базы записанные им туда данные и годится для любых приложений, работающих в режиме клиентских сеансов.

Есть еще уровень с ограниченным устареванием, когда операции считывания могут отставать от операций записи на период времени или число версий не более, чем заданы разработчиком. А согласованность префиксов дает гарантию, что при операциях чтения данные всегда возвращаются в том порядке, в каком были записаны, но эти данные не обязательно самые свежие.

В Microsoft сделали и другие объявления, касающиеся СУБД. Так, корпорация предложила MySQL и PostgreSQL в виде управляемых сервисов, избавляющих разработчиков от установки заплат, масштабирования и административных задач. Кроме того, представлен сервис Data Migration, помогающий переносить в облако данные из СУБД Microsoft SQL Server и Oracle.

Исполнительный директор управляющей компании «ПроОбраз» Дмитрий Волошин заметил, что за последние пять лет взаимодействие вузов и ИТ-бизнеса стало партнерским: от тактики переманивания выпускников и попыток получить от компаний финансирование стороны перешли к совместным проектам. Профессор факультета информационных технологий и программирования Университета ИТМО Анатолий Шалыто между тем сказал, что самых талантливых студентов следует оставлять в качестве преподавателей и исследователей, но именно их также больше всего хотят получить и компании, что приводит к конкуренции с вузами. Профессор и заместитель декана по учебной работе ВМК МГУ Михаил Федотов отметил, что качественное ИТ-образование требует еще и опыта старшего поколения, то есть для развития науки и чтения лекций недостаточно одних только ярких личностей, помимо этого нужна и традиция научной школы.

Иван Аржанцев, декан факультета компьютерных наук ВШЭ, рассказал о создании факультета совместно с «Яндексом» три года назад и достигнутом за этот период. Сегодня в штат преподавателей входят сотрудники ведущих ИТ-компаний, победители международных чемпионатов по программированию, ученые мирового уровня.

Директор Центра развития ИТ-образования МФТИ Алексей Малеев считает, что молодежи присуще стремление к соревновательности, который можно использовать для наработки профессиональных качеств в игровой форме. Таким примером, по его мнению, служит международный чемпионат ACM ICPC — самое престижное и массовое соревнование по спортивному программированию среди студентов.

В завершение генеральный директор Postgres Professional Олег Бартунов рассказал, что компания как российский вендор видит острый дефицит именно разработчиков систем управления базами данных. Крупнейшие зарубежные производители вложили большие средства в поддержку соответствующих образовательных программ, однако для того чтобы сформировать отечественную отрасль СУБД, этого недостаточно. Postgres Professional разрабатывает учебные курсы и пособия по открытой СУБД PostgreSQL.

Ежегодный форум PgConf.Russia 2017 собрал более 500 отечественных и зарубежных разработчиков, архитекторов, администраторов и пользователей СУБД PostgreSQL. В рамках трехдневного мероприятия было представлено более полусотни докладов, семь мастер-классов, два круглых стола, была развернута площадка для общения специалистов, вовлеченных в экосистему данной СУБД. В отличие от достаточно официального прошлогоднего, нынешний форум был подчеркнуто технологическим; но вместе с этим перечень его партнеров, среди которых были IBS, Fujitsu, AT Consulting, свидетельствовал о необратимости взятого несколько лет назад курса на достижение технологической независимости, по крайней мере в сфере системного ПО. В частности, Игорь Ведехин, директор дивизиона «ИТ-инфраструктура» компании IBS, представляя аппаратно-программный комплекс СКАЛА-СР, разработанный в помощь отечественным предприятиям, лишенным былого доступа к западным технологиям, отметил, что сегодня многими российскими заказчиками объективно востребованы машины баз данных. Консорциум, в состав которого входят IBS, российская компания «Постгрес Профессиональный» и израильская Mellanox, представил на конференции машины баз данных в различных конфигурациях – готовые предконфигурированные комплексы позволяют заказчикам быстро развернуть нужную инфраструктуру и сэкономить на лицензионных отчислениях.

Рост популярности PostgreSQL в нашей стране означает повышенные требования к поддержке этой СУБД и актуализацию проблемы миграции между СУБД, выполненной как вручную, так и с помощью различных средств автоматизации, о которых много говорилось на конференции. Иван Панченко, заместитель генерального директора компании «Постгрес Профессиональный», отметил изменения, произошедшие за годы проведения конференции, и прежде всего рост активности ее участников: «Набрана критическая масса, участники сами приходят, подают доклады, предлагают партнерство». За прошедший год компания разработала российский «форк» СУБД в версиях для «1С», Postgres Pro Certified и Postgres Pro Enterprise, выпустила русскоязычную документацию по PostgreSQL и Postgres Pro. Особо Панченко отметил совместную с РФЯЦ-ВНИИЭФ разработку СУБД «Синергия БД», обеспечивающую разграничение доступа при работе СУБД PostgreSQL в кросс-платформенной среде различных ОС без потери производительности и с соблюдением требований безопасности.

Белорусская компания «Испаер Системс» представила на конференции свое решение Ispirer Migration and Modernization Toolkit для автоматизации миграции на PostgreSQL c Oracle, Microsoft SQL Server, IBM DB2 и ряда других СУБД. Речь идет как о переносе данных и SQL-кода, так и о конвертации клиентских приложений. К сожалению, по замечаниям участников конференции, такая миграция не всегда приводит к ожидаемому результату и чревата потерей производительности. Консалтинговая компания Data Egret, созданная Ильей Космодемьянским, как раз специализируется на вопросах оптимизации производительности и выполнения полного цикла сопровождения баз данных, в частности на аудите настроек, правильный подбор которых часто позволяет на порядок повысить производительность.

В ряде докладов отмечалось, что, несмотря на рост популярности СУБД класса NoSQL, традиционные решения, несущие на себе основной груз унаследованных приложений, не сдают своих позиций, иначе говоря, «no SQL — no money». Наоборот, набирает силу обратный процесс — миграция с NoSQL на SQL, например с MongoDB на PostgreSQL. Первая достаточно популярна при работе с транзакционными системами OLTP, однако неполное соответствие требованиям ACID (атомарность, согласованность, изолированность, надежность), а также серьезные проблемы с производительностью при работе с нагрузками класса OLAP вынуждают пользователей MongoDB задуматься о переходе на реляционные СУБД, выбирая именно PostgreSQL. В докладе Альваро Эрнандеса были перечислены сложности, с которыми сталкиваются пользователи MongoDB, и представлен обзор современных инструментов по миграции на PostgreSQL в реальном времени.

Андрей Фефелов из компании mastery.pro представил в своем докладе обзор доступных открытых решений по бизнес-аналитике и специально остановился на проекте, выполненном для зарубежной аптечной сети, проанализировав влияние настроек PostgreSQL для специфических профилей нагрузки. Однако наибольший интерес в серии докладов по применению PostgreSQL вызвало у слушателей сообщение Алексея Плотникова из компании Skype, ныне входящей в состав Microsoft. Большинство сервисов Skype построено на базе PostgreSQL 9.4, ОС Debian Linux и других открытых технологий Skytools, plProxy, pgBouncer и пр. Современная инфраструктура Skype – это два ЦОД, 1 тыс. серверов, 160 баз данных общим объемом 500 Тбайт с нагрузкой в 200 тыс. транзакций в секунду. В докладе была представлена архитектура платформы баз данных, позволяющая пользователям и приложениям работать с логическими базами, не беспокоясь об их реальной структуре.

Апофеозом второго дня конференции стал доклад группы авторов из НИИ «Восход», МЦСТ и Data Egret, посвященный опыту применения отечественного оборудования и свободного ПО, включая PostgreSQL, в ЦОД государственной системы изготовления, оформления и контроля паспортно-визовых документов нового поколения (ГС ПВД НП). Эта система контролирует всю технологическую цепочку выпуска заграничных паспортов с микросхемой, служебных и дипломатических паспортов, оформления вида на жительство лиц без гражданства и проездного документа беженца. До недавнего времени инфраструктура системы была построена на мэйнфреймах System z, СУБД IBM DB2 и Tivoli. Ее поддержка с определенного момента стала непосильной для бюджета, поэтому по заказу Минкомсвязи была выполнена миграция на СУБД PostgreSQL на платформе «Эльбрус», Apache ActiveMQ и Redis. Сегодня основу ГС ПВД НП составляют 130 серверов на платформе «Эльбрус», а СУБД PostgreSQL управляет массивом из 7 млрд строк данных, причем весь процесс миграции был выполнен без прерывания работы «боевой» системы и без потери производительности.

Появившийся в облаке Google Cloud сервис Dataprep упрощает задачу предварительной обработки данных для машинного обучения. По словам специалистов Google, он автоматически распознает схемы данных, соединения и аномалии наподобие отсутствующих или дублирующихся значений, не требуя программирования. После анализа Dataprep помогает составить набор правил обработки в формате Apache Streams для импорта в сервисы Google Cloud Dataflow, BigQuery и другие.

Сервис подготовки данных для машинного обучения пользуется им и сам — для выяснения, какие из правил оказываются наиболее полезными для заказчиков.

На конференции Google Cloud Next также было объявлено об улучшении сервиса BigQuery: добавлен механизм Commercial Datasets, позволяющий напрямую загружать для обработки в хранилище информацию с сайтов AccuWeather, Dow Jones, Xignite, HouseCanary и Remine. BigQuery теперь также может опрашивать Bigtable — облачную NoSQL-базу Google для приложений, требующих быстрого доступа к данным.

Еще два объявления — пользователи рекламных сервисов Google смогут отправлять в BigQuery их статистику для анализа; в сервисе Google Cloud SQL помимо PostgreSQL отныне доступны экземпляры MySQL.

Компания Google представила сервис баз данных, который она намерена предложить пользователям своих публичных облачных сервисов, чтобы управлять критически важными для них продуктами.

Новый сервис Cloud Spanner с полным набором необходимых средств управления базами данных сочетает в себе согласованность транзакций традиционных СУБД с масштабируемостью и производительностью баз данных NoSQL. Он построен на основе тех же самых систем, которые обслуживают собственную внутреннюю базу данных Google Spanner.

Как правило, предприятия поставлены перед выбором между традиционными СУБД и базами данных NoSQL. Оба варианта имеют свои достоинства и недостатки. Традиционные СУБД обладают лучшей транзакционной согласованностью, но их трудно масштабировать. Базы данных NoSQL лучше масштабируются, однако при этом приходится жертвовать транзакционной согласованностью.

Система Cloud Spanner проектировалась в качестве управляемого сервиса, лишенного ограничений существующих решений. Помимо всего прочего это означает, что Google будет управлять оборудованием, программным обеспечением и реплицировать контент баз данных, которые могут распределяться между несколькими ЦОД.

«Сервис окажется полезным компаниям, которым нужно обеспечивать согласованность своих глобальных баз данных в течение миллисекунд», – пояснил директор Gartner по исследованиям Ник Хойдекер. Он считает, что ощутимый выигрыш от Cloud Spanner может быть получен в сфере финансовых услуг и рекламы.

При этом компаниям придется переносить существующие приложения, что сопряжено с определенными трудностями. По словам менеджера по продукту Cloud Spanner Дипти Шриваставы, Google совместно с партнерами намерена помочь клиентам справиться с такой задачей.

По итогам закрытого альфа-тестирования можно сделать вывод, что Cloud Spanner вызывает повышенный интерес по сравнению с большинством других новых сервисов Google.

Сервис Cloud Spanner вырос из проекта, начавшегося в 2007 году, когда группа сотрудников Google поставила перед собой цель покончить с проблемой выбора между NoSQL и традиционными СУБД. В 2012 году был опубликован документ, описывающий СУБД Spanner, в которой фигурировал целый ряд новых технологий, предусматривающих в том числе и использование в дата-центрах атомных часов и часов GPS для обеспечения согласованности времени.

Технология Spanner применялась для управления сервисами AdWords и Google Play. По свидетельству компании, она позволяла обслуживать десятки миллионов запросов в секунду.

Возможности Cloud Spanner были положительно оценены Питером Баккумом, возглавляющим проект создания платформы Quizlet. Компания, занимающаяся образовательным программным обеспечением, предлагает студентам популярный набор исследовательских инструментов для оценки того, как лучше масштабировать инфраструктуру баз данных.

В Quizlet изучали Cloud Spanner еще на этапе закрытого альфа-тестирования и планируют использовать этот сервис в качестве замены существующему набору баз данных MySQL. Рефакторинг приложений Quizlet для использования Cloud Spanner потребует дополнительной работы, но, по словам Баккума, это решение представляется предпочтительным из всех возможных вариантов модернизации.

«Для дальнейшего масштабирования нам нужна фундаментально иная архитектура, а сложного плана миграции потребует любое из возможных решений», – подчеркнул он.

Популярность Cloud Spanner может возрасти и благодаря позиции Google на облачном рынке. Несмотря на активное предложение новых возможностей и улучшение своих сервисов в целях привлечения новых клиентов, Google пока уступает по популярности Amazon Web Services и Microsoft Azure.

Чтобы использовать Cloud Spanner, нужно перенести данные на облачную платформу Google и создать приложения, которые будут обращаться к этим данным. Сегодня некоторые компании не испытывают особых неудобств при работе с несколькими поставщиками облачных сервисов, однако этим могут похвастаться далеко не все.

По словам Хойдекера, Google является единственным крупным поставщиком облачных сервисов, предлагающим решение такого рода, и соперничать с ней в этом отношении будет довольно сложно.

«Cloud Spanner не просто программное обеспечение, – указал он. – Это объединение программного обеспечения и оборудования в форме атомных часов в ЦОД Google, а также невероятно устойчивая сеть, связывающая ЦОД компании друг с другом. Так что речь идет не просто о написании программного кода, а о значительных инвестициях и огромном опыте, которым славится Google».

В настоящее время экземпляры Cloud Spanner поддерживаются только в пределах одного из облачных регионов Google, хотя их и можно реплицировать между зонами, доступными внутри этих регионов. В перспективе же у клиентов Cloud Spanner появится возможность использовать единую базу данных, синхронизируемую сразу в нескольких регионах.