Сергей Кузнецов предупреждает: появление принципиально новых технологий работы с Большими Данными тем не менее не позволяет полностью отказаться от использования традиционных СУБД

Технологии, условно объединяемые в стек Hadoop, за рубежом стремительно набирают популярность и выходят на передний  край мировой ИТ-индустрии. Основная причина – фокус на использовании дешевых аппаратных платформ для обработки Больших Данных, мировой объем которых, по некоторым оценкам, в 2020 году достигнет 35 зетабайт (почти 30-кратный рост за десять лет). Аналитики Gartner полагают, что феномен Больших Данных именно сейчас находится на пике маркетинговых ожиданий, что и объясняет повышенное внимание со стороны и заказчиков, и ИТ-компаний.

К счастью, технологии Hadoop/MapReduce, появившиеся в 2004-2005 годах, перестают быть экзотикой и в России. Организаций, инициирующих пилотные или коммерческие проекты на Hadoop, с каждым месяцем становится все больше. На форумах по Большим Данным и по интеграции сложных корпоративных систем, проведенных издательством «Открытые системы» в 2012-м и 2013 году, Большой слон (эмблема Hadoop — прим. ред.) фигурирует повсюду – и в докладах, и в дискуссиях, и в вопросах из зала. Оно и неудивительно: несмотря на обилие публикаций, программных инструментов и специализированных групп в социальных сетях, налицо явный дефицит профессиональных площадок для живого обмена опытом и обсуждения наболевших вопросов в этой новой для заказчиков области.

Стремясь хотя бы частично заполнить образовавшийся вакуум, издательство провело первое специализированное независимое мероприятие, целиком посвященное Hadoop, MapReduce и примыкающим технологиям. Перед аудиторией, объединившей около 50 разработчиков, участников и руководителей проектов в области Больших Данных, выступили представители компаний Oracle и DIS Group, а также ведущие специалисты Российской академии наук, имеющие опыт использования таких технологий в реальных коммерческих или исследовательских проектах.

Открывая семинар, профессор Сергей Кузнецов, один из ведущих отечественных специалистов в области баз данных, в своем докладе остановился на некоторых мифах, сложившихся вокруг технологии MapReduce, на не оправдавшихся ожиданиях, которые поначалу на нее возлагались, и объяснил, почему появление принципиально новых технологий работы с Большими Данными тем не менее не позволяет полностью отказаться от использования традиционных СУБД. Существенные ограничения подхода к анализу данных на основе MapReduce (при всей простоте его идеологии) связаны со сложностью реализации. Его продуктивное использование требует профессионального программирования, тогда как традиционные СУБД ориентированы на широкий круг бизнес-пользователей, являющихся специалистами в области данных, а не разработки приложений. Как следствие, расширение области применения технологий Hadoop/MapReduce возможно только в связке с массивно-параллельными СУБД либо на пути построения самих массивно-параллельных СУБД на основе функций map и reduce. В то же время благодаря наличию эффективных средств синхронизации и программированию, параллельному по данным, MapReduce решает проблему горизонтальной масштабируемости, которая органически присуща СУБД на SQL, но отсутствует у серверных приложений бизнес-аналитики.

Один из возможных путей преодоления ограничений MapReduce – использование коммерческого ПО, основанного на открытом стеке Hadoop. На сегодняшний день все крупные ИТ-вендоры предлагают решения, которые обеспечивают интеграцию Hadoop-приложений с их традиционными продуктами. В последнее время на рынке появилось множество молодых компаний (Cloudera, Hortonworks, MapR Technologies и др.), которые в своих разработках расширяют функциональные возможности Hadoop/MapReduce применительно к анализу Больших Данных, предоставляя заказчикам готовые решения корпоративного уровня. Речь идет, в частности, о потоковой загрузке и совместной обработке данных из разных источников, о всевозможных средствах визуализации данных, прогнозной аналитике и информационной безопасности.

На семинаре были представлены результаты первого в нашей стране сравнительного тестирования платформ Hadoop от разных поставщиков, организованного компанией DIS Group. В поле зрения специалистов компании попали продукты CDH 4.3.1 фирмы Cloudera (основаны на появившейся в сентябре Hadoop 2.0), IBM BigInsights 2.1 (Hadoop 1.1.1) и MapR M5. Перечисленные решения сравнивались по таким критериям, как удобство настройки и администрирования, производительность при записи/чтении файлов и обработке Hive-запросов, отказоустойчивость. Как выяснилось, сильные и слабые стороны есть у каждого продукта. Решение Cloudera вышло победителем в категории «Настройка и администрирование», а разработка MapR немного вырвалась вперед в области отказоустойчивости и показала лучшие результаты в большем числе тестов на производительность. Вместе с тем продукт MapR M5 оказался самым неудобным с точки зрения администрирования.

Коммерческие решения помогают заказчикам пробраться сквозь дебри стека технологий Hadoop для работы с Большими Данными, который уже сегодня представляет собой довольно сложное дерево, распадающееся на такие области, как распределенные файловые системы, собственно базы данных, средства анализа потоковых и графических данных, системы машинного обучения, пакетной обработки и обработки специальных запросов. Почти в каждой из них присутствует от пяти до дюжины продуктов, и разобраться в этом калейдоскопе порой не под силу даже специалистам. На семинаре были рассмотрены архитектура распределенной файловой системы HDFS и основанное на ней хранилище Apache HBase, особенности загрузки данных в Hadoop, программирование функций map и reduce в парадигме «ключ-значение» и соответствующие языки программирования Pig Latin и HiveQL, планировщик задач Oozie, сервис координации распределенных задач ZooKeeper, различные инструменты для сбора журналов из разных источников и их сохранения в HDFS.

Отдельный доклад был посвящен языку Jaql, предназначенному для создания запросов к данным в формате JSON, а также его интеграции с реляционными СУБД, другими языками и некоторыми компонентами стека Hadoop. Объединивший парадигмы императивного языка Pig и реляционного Hive, в наши дни Jaql рассматривается как достойная альтернатива своим предшественникам. Его преимущества особенно ярко проявляются при создании больших и сложных программ для обработки сложных, вложенных данных со слабой структурой (например, для текстовой аналитики).

Участникам семинара был представлен активно развивающийся в последнее время проект Spark, входящий в состав Berkley Data Analysis Stack, а также его применение к задаче анализа социальных графов. Несмотря на совместимость с Hadoop и использование принципов MapReduce, Spark является самостоятельной платформой, которая на ряде задач по производительности превосходит Hadoop в десятки раз. Ключевые особенности Spark — хранение данных в оперативной памяти для быстрой обработки интерактивных запросов, различные схемы оптимизации, оперирование устойчивыми к сбоям распределенными наборами данных. Круг пользователей Spark постоянно расширяется, в частности он взят на вооружение компанией Yahoo.

Сергей Поздняков: обеспечение универсального доступа к приложениям – традиционный конек Citrix

На конференции Citrix Synergy, состоявшейся в мае в Сан-Франциско, компания сделала множество анонсов в области виртуализации рабочих мест и поддержки корпоративной мобильности. Об особенностях новых продуктов и их месте в общей палитре решений компании в интервью Computerworld Россия рассказал Сергей Поздняков, директор Citrix по России и странам СНГ.

Ваша компания представила новую стратегию в области корпоративной мобильности. Не могли бы вы рассказать о ней подробнее?

Основной задачей Citrix всегда было обеспечение эффективной работы сотрудников с любыми корпоративными данными и приложениями независимо от их местонахождения. Возможности для такой работы с каждым годом становятся все богаче, и мы не можем игнорировать мировые тенденции, будь то корпоративная мобильность, BYOD или социальные сети. Кстати, сама Citrix всячески поддерживает стремление собственных сотрудников к самостоятельному выбору ноутбуков и мобильных устройств, поскольку это повышает эффективность их работы.

Наша новая стратегия охватывает четыре ключевых компонента – сотрудников, данные, приложения и устройства. Так, сотрудникам адресованы новые средства общения в составе семейства GoToMeeting. Данные, где бы они ни хранились, в публичном облаке или в корпоративном ЦОД, ценны только при наличии удобного доступа сотрудников к файлам и развитых средств работы с ними. Несмотря на обилие предложений в этой области, включая популярные облачные сервисы Dropbox и box.net, решений для корпоративного сегмента не так уж много. Особенность корпоративных пользователей в том, что им важно знать, где именно хранятся данные. Ключевое отличие решения Citrix ShareFile with StorageZone от других предложений как раз и заключается в предоставлении пользователю права выбирать место хранения конфиденциальных данных. Таким местом может быть собственный ЦОД, тогда как все остальные данные останутся в облаке.

Обеспечение универсального доступа к приложениям – традиционный конек Citrix. Независимо от местонахождения пользователя и используемого им устройства, работа с приложением должна выглядеть одинаково.

Наконец, в продолжение анонсов, сделанных на европейской конференции Synergy в октябре 2011 года в Барселоне, мы впервые продемонстрировали плату со встроенными средствами поддержки протокола удаленного доступа HDX. Технология HDX обеспечивает извлечение приложения из облака, его доставку и воспроизведение на пользовательском устройстве. Как известно, такое воспроизведение бывает сопряжено со значительными вычислениями. Новый продукт Citrix HDX System-on-Chip реализует перечисленные функции на одном чипе, который, будучи встроенным в клиентское устройство, высвобождает ресурсы центрального процессора для выполнения основных задач. Компания HP продемонстрировала «нулевой» клиент t410 All-in-One Smart Zero Client с нашей новой платой, который выглядит как монитор и при этом предоставляет возможности полноценно работать с любыми приложениями из облака. Благодаря дешевизне соответствующих микросхем HDX System-on-Chip позволяет также реализовать технологию виртуализации рабочих мест с минимальными затратами на уровне клиентских устройств.

Технология VDI-in-a-Box решает похожие задачи?

В конечном счете, да: упрощение работы пользователей, сокращение затрат, однако это решение другого класса. Год назад Citrix купила компанию Kaviza, которая предлагала решения по виртуализации рабочих мест для предприятий малого и среднего бизнеса. VDI-in-a-Box – продукт, доработанный в Citrix, он отличается крайней простотой в инсталляции и использовании и для своей поддержки не требует ни мощной серверной инфраструктуры, ни больших систем хранения. По сути, VDI-in-a-Box открывает путь в мир виртуализации рабочих мест, что в сочетании с технологией HDX System-on-Chip предполагает минимальные затраты без заметной потери в функциональности. Возможно, поэтому в России данный продукт используют не только малые и средние, но и крупные компании, например, для своих региональных филиалов.

Какие сценарии виртуализации рабочих мест сегодня реализованы в продуктах Citrix?

Основные способы доставки приложений на пользовательские устройства у нас объединены под названием FlexCast. Один из них – Hosted Share, который, по сути, представляет собой терминальный доступ к рабочему столу или приложению, запущенному удаленно. Это наиболее экономичный вариант, к тому же он идеален для централизованного администрирования, поскольку и данные, и приложения находятся в ЦОД. Другой способ – Hosted VDI, когда в ЦОД запущены виртуальные машины с пользовательскими ОС. В сущности, пользователь получает свою рабочую станцию, только виртуальную и функционирующую в ЦОД. Третий сценарий – Streamed VHD. Это передача заранее сформированного образа операционной системы на пользовательский компьютер без жесткого диска. Затем все процессы выполняются в оперативной памяти, что идеально с точки зрения обеспечения безопасности пользовательских устройств. Наконец, четвертая возможность – Local VM с поддержкой автономной работы и синхронизации с корпоративной информационной системой при появлении сетевого доступа. Local VM в первую очередь ориентирована на мобильных пользователей, которым требуется полноценный доступ к корпоративным данным и приложениям вне офиса.

Наше ключевое преимущество – возможность в рамках одной платформы предоставить тот метод виртуализации рабочих мест, который удобен пользователю.

Как соотносится с этим новый продукт RemotePC в составе XenDesktop?

Это еще один компонент нарисованной мною картины. Нередко встречается ситуация, когда сотрудникам требуется возможность удаленной работы на своем компьютере, установленном в офисе. Основное препятствие – необходимость открыть соответствующий порт межсетевого экрана. RemotePC позволяет удаленно зарегистрироваться на офисном компьютере и работать с ним, не нарушая корпоративных политик безопасности.

Поскольку разговор уже коснулся облаков, прокомментируйте, пожалуйста, первые результаты недавнего приобретения компании Podio.

Важность этого приобретения связана с распространением социальных сетей. Podio разработала технологию корпоративных социальных сетей, позволяющую поставить возможности этих сетей на службу корпоративного управления и организовывать бизнес-процессы в стиле социальных сетей. Удобство такого подхода заключается, например, в возможности сформировать под проект отдельную рабочую область, которая позволяет загружать и делать общедоступными файлы различных форматов, обмениваться ссылками, добавлять оценки и комментарии и т. п., причем так же просто, как в социальных сетях. При этом крайне ценной является поддержка мобильных сотрудников, удобство в организации встреч, в выполнении поставленных на них задач, в контроле поручений, в легкости подключения внешних партнеров и заказчиков и т. п. Если сама организация встреч поддерживается в ПО GoToMeeting, то весь остальной функционал покрывается разработками Podio. Сильной стороной решения Podio является также поддержка интерфейсов разных систем, включая DropBox, ShareFile, SharePoint, интеграция с сервисами семейства GoTo, возможность стыковки с различными корпоративными системами и порталами.

Крис де Форж: «Большие Данные и облака буквально созданы друг для друга»

Перспективность рынка средств администрирования и анализа Больших Данных заставляет крупнейшие ИТ-компании пересматривать свои стратегические планы и разрабатывать решения, специально предназначенные для обработки накопленных в организациях колоссальных объемов информации. Компания Hewlett-Packard сделала ряд значимых шагов с целью заполучить заметную долю зарождающегося рыночного сегмента. О проблематике Больших Данных и планах HP в этой области рассказывает Крис де Форж, директор по развитию бизнеса подразделения HP BCS в регионе EMEA.

В чем специфика Больших Данных, о которых в последний год так много говорят и эксперты, и ИТ-компании?

Применительно к Большим Данным можно выделить три проблемных области, с которыми сталкиваются заказчики: пересмотр существующих архитектур, аналитическая обработка и облачные сервисы.

Прежде чем вести речь об аналитической обработке Больших Данных, необходимо разобраться с множеством традиционных архитектур, систем и устройств, порождающих огромные объемы данных. Например, Oracle приступила к разработке своей флагманской СУБД 27 лет назад, а это как раз средний возраст сегодняших пользователей социальных сетей и мобильных терминалов, генерирующих новый контент в невиданных прежде масштабах. Поэтому серьезной проблемой является адаптация архитектур традиционных СУБД к новой реальности Больших Данных и разработка новых методов управления ими. Они должны базироваться не на экстенсивном, а на интеллектуальном подходе к обработке Больших Данных.

HP активно разрабатывает и выводит на рынок соответствующие технологии, например обработку данных в оперативной памяти, максимально приближенную к местонахождению основных вычислительных ресурсов. Очень важно, чтобы достигаемая в результате гибкость обработки была доступна всем приложениям, которые использует заказчик. При этом мы и развиваем технологии, и активно сотрудничаем со стратегическими партнерами, например с SAP, стремясь модернизировать существующие структуры данных и апробировать создаваемые решения. Это первый шаг к тому, чтобы через управление данными пользователи органично переходили к их анализу.

Но аналитическая обработка Больших Данных тоже имеет свою специфику?

Безусловно. В мае мы завершили сделку по приобретению компании Vertica. Даже такая крупная корпорация, как HP, не в состоянии все разрабатывать самостоятельно. Вместо того чтобы пытаться адаптировать технологии 60-80-х годов к новой реальности, которая связана с обработкой Больших Данных, мы решили интегрировать в свой портфель современную технологию, которая была придумана и затем доведена до коммерческого продукта компанией Майкла Стоунбрейкера – одного из основоположников реляционных баз данных.

Как известно, СУБД создавались в расчете на оперирование сравнительно небольшим числом сложных динамических наборов данных. Стоунбрейкер же спрогнозировал грядущее приближение эпохи лавинообразного нарастания числа компактных наборов статических данных, каковыми являются данные, генерируемые самими компьютерными системами, пользователями социальных сетей, сервисами сетей сотовой связи и т. п. Поэтому он предпринял кардинальное изменение традиционной модели данных, заменив ее на модель записи по колонкам. По сравнению с традиционными СУБД, в которых данные хранятся по строкам, переход к колоночной модели означал заметное сокращение числа необходимых операций ввода-вывода и повышение степени сжатия данных.

Пересмотр модели данных произошел на фоне трех ключевых изменений в ИТ-индустрии. Во-первых, крупные монолитные системы больше не сулили пользователям никаких преимуществ, поэтому их предстояло заменить на массивно-параллельные архитектуры, допускающие масштабирование практически в неограниченных пределах на стандартной платформе x86.

Во-вторых, радикальное сокращение жизненного цикла данных (наглядным примером могут служить текущие биржевые данные) потребовало принципиально иного подхода к их анализу. Всесторонний анализ данных недельной давности потерял актуальность, ему на смену должен был прийти анализ, максимально приближенный к режиму реального времени. Это изменение, в свою очередь, потребовало значительного ускорения операций ввода-вывода данных, которые являлись узким местом большинства систем с традиционной архитектурой. Решить проблему удалось с появлением средств интеллектуального сжатия данных.

В-третьих, предстояло разрубить гордиев узел, связанный с невозможностью одновременно выполнять операции загрузки данных и обрабатывать запросы. Мы проводили нагрузочное тестирование HP Vertica на широком спектре достаточно сложных тестов. Конечно, результаты этих тестов при одновременной загрузке новых данных не идентичны результатам тестов в отсутствие других операций, однако с точки зрения затрат времени различие измеряется наносекундами, и поэтому им можно пренебречь.

В какой мере эти новые технологии востребованы заказчиками?

Мы уже успели убедиться в том, что инновационные изменения в традиционных моделях данных и системах их обработки, о которых я рассказал, имеют огромный рыночный потенциал. Ранее мне не приходилось наблюдать столь быстрой положительной реакции пользователей на только что возникшие технологии. Сегодня огромное количество существующих заказчиков обращаются к нам с просьбой помочь в решении проблем, связанных с Большими Данными.

На момент приобретения HP у Vertica было 300 корпоративных клиентов, сегодня их уже 450. В России у нас имеется пара очень интересных пилотных проектов (в том числе в телекоммуникационной отрасли), направленных на апробацию предлагаемого HP подхода к обработке Больших Данных. Мы сами проводим серьезные исследования в этой области, надеясь привлечь новых заказчиков. На мой взгляд, скоро заказчики должны появиться и в России, где накоплены огромные объемы корпоративных данных и имеется множество талантливых высококвалифицированных специалистов.

Для нас ключевым аспектом является способность поспевать за спросом. Однако сделанное – только первый шаг. Совсем недавно мы завершили крайне важное для нас приобретение компании Autonomy. Мощность созданных ею средств консолидации данных и обработки запросов также позволяют реализовать анализ Больших Данных в режиме, максимально приближенном к реальному времени. Сейчас идет активная интеграция продуктов Autonomy в портфель решений НР.

По уже сделанным нами шагам видно, что управление Большими Данными и их анализ относятся к числу наиболее приоритетных направлений развития бизнеса компании. При этом важно подчеркнуть, что обращение к Большим Данным следует расценивать как расширение нашей экспертизы и портфеля предлагаемых решений в ответ на запросы клиентов, но никак не в качестве замены традиционных направлений бизнеса.

О Больших Данных много говорят в контексте облачных сервисов. В HP наверняка не могли пройти мимо этого «тандема»?

Интеграция технологий хранения и обработки Больших Данных, а также средств их анализа с облачными решениями — еще одно важное направление нашей деятельности. HP разработала собственную стратегию в сфере облачных вычислений и направляет значительные ресурсы на ее реализацию. Переход в облако позволяет заказчикам по максимуму модернизировать имеющуюся ИТ-инфраструктуру.

Компания HP привержена открытым интегрированным инфраструктурам, они позволяют заказчикам использовать стандартные компоненты и тем самым заметно снизить издержки и упростить управление инфраструктурой. Мы стремимся максимально облегчить заказчикам внедрение новых решений и интеграцию в облако уже существующих, строят ли они внутренние облака или делают ставку на модель SaaS. Существенное внимание при этом уделяется интеграции средств анализа Больших Данных в облачные инфраструктуры. Целесообразность «союза» Больших Данных и облаков мне представляется неоспоримой.

По словам Алексея Попова,  переход  исполнительной власти на электронные рельсы  задерживался из-за длительного согласования  процедур взаимодействия различных ведомств на федеральном и региональном уровнях

В конце августа в Москве состоялась конференция, посвященная актуальным вопросам перехода на межведомственное электронное взаимодействие. На мероприятии  докладчики из  ключевых министерств, отвечающих за реализацию проекта, познакомили представителей органов исполнительной власти и журналистов с ходом его выполнения.

Работа по переводу всей исполнительной власти страны на «электронные рельсы» ведется в соответствии с требованиями Федерального закона № 210 «Об организации предоставления государственных и муниципальных услуг» от 27 июля 2010 года. Первоначально его вступление в силу было запланировано на 1 июля 2011 года, однако уложиться в этот срок не удалось. По словам Алексея Попова, директора Департамента информационных технологий и связи Правительства РФ, основная проблема состояла в длительном согласовании процедур взаимодействия различных ведомств на федеральном и региональном уровнях. Проекту явно недоставало системного архитектора, способного спроектировать систему межведомственного электронного взаимодействия (СМЭВ), а затем и скоординировать работы по ее внедрению в практику. По сути дела, до последнего времени в роли архитектора процесса оказания госуслуги выступали сами граждане, всякий раз организовывавшие сбор необходимых справок и их предоставление в соответствующие госучреждения.

Дело сдвинулось с мертвой точки в апреле 2011 года благодаря созданию специальной правительственной подкомиссии по использованию информационных технологий при предоставлении государственных и муниципальных услуг, которая взяла на себя, в частности, функции упомянутого архитектора СМЭВ. Первым важнейшим результатом ее деятельности стало появление «дорожной карты», предусматривающей пять этапов реализации требований 210-ФЗ.

Первый этап, о котором до апреля 2011 года фактически не было и речи, состоит в детальном проектировании, или составлении, технической карты, межведомственного взаимодействия, включая описание бизнес-процессов взаимодействия органов исполнительной власти в новых условиях.

Второй этап, ответственным за реализацию которого является Минкомсвязи, включает в себя разработку, тестирование и внедрение веб-сервисов межведомственного взаимодействия. На базе этих сервисов будет построена система структурированного электронного документоборота, которая позволит информационным системам разных ведомств обмениваться друг с другом данными без участия госслужащих. Это, правда, не будет означать полного отказа от традиционного документоборота, то есть обмена неструктурированными документами в электронной и даже в бумажной форме, однако общее число документов и запросов, которые циркулируют «в коридорах власти», в будущем уменьшится на порядки.

К тому же для граждан, которые не вполне освоили современные компьютерные технологии, будет сохранена прежняя схема получения госуслуг. Именно для их обслуживания в России разворачивается сеть многофункциональных центров (МФЦ), реализующих так называемый принцип одного окна. В 2009 году в стране насчитывалось 94 таких центра, к концу 2012 года их число должно перевалить за 800. При этом обмен информацией между МФЦ и ведомствами все равно будет осуществляться через СМЭВ.

Как отметил Савва Шипов, директор Департамента государственного регулирования в экономике Минэкономразвития, не менее важная задача связана с разработкой и принятием административных регламентов, призванных сделать прозрачными условия предоставления госуслуг и детализировать процедуры взаимодействия органов государственной власти. По состоянию на конец августа 2011 года на федеральном уровне было принято 480 регламентов, или 60% их необходимого числа. На муниципальном уровне число требуемых административных регламентов доходит до 13 тыс.

Грядущие изменения требуют приведения нормативно-законодательной базы в соответствие с новой архитектурой межведомственного электронного взаимодействия, что составляет суть третьего этапа «дорожной карты». Значительная часть этой работы уже выполнена благодаря вступлению в силу с 1 июля 2011 года Федерального закона «О внесении изменений в отдельные законодательные акты Российской Федерации», тем не менее считать ее полностью законченной еще рано.

  Четвертый  этап связан с построением инфраструктуры электронных госуслуг и межведомственного взаимодействия, включая развертывание системы удостоверяющих центров. К настоящему времени эта работа практически завершена, начато нагрузочное тестирование построенной инфраструктуры, однако, по словам Попова, у  правительства  до сих пор нет полной уверенности в том, что данная инфраструктура сможет «переварить» нагрузку, которая возникнет после ввода СМЭВ в эксплуатацию. По утверждению исполнителей проекта, технических проблем, относящихся к инфраструктуре, на федеральном уровне сегодня не существует, однако подключение к ней отдельных субъектов не отлажено до конца.

Наконец, пятый этап реализации проекта предлагает проведение комплекса мероприятий по обучению сотрудников многочисленных ведомств работе с новой системой.

Как отмечалось на конференции, реализация межведомственного электронного взаимодействия – проблема не столько техническая, сколько организационная, ведь речь идет не просто о переводе госуслуг в электронный вид, а об изменении сложной цепочки бизнес-процессов, обеспечивающих их предоставление. Другими словами, заметное упрощение процедуры получения госуслуг, которое наши соотечественники непременно ощутят на себе после того, как СМЭВ начнет функционировать в полном объеме, это лишь вершина айсберга, за которой скрывается принципиальное изменение схем взаимодействия органов исполнительной власти по всей вертикали, вплоть до муниципалитетов.

О масштабе задачи говорят следующие цифры. На федеральном уровне в электронном виде должны предоставляться 320 услуг, сводный реестр госуслуг регионального уровня насчитывает уже около 13 тыс. позиций, а муниципального — более 25 тыс. Всего в межведомственном взаимодействии принимает участие около 50 федеральных ведомств, число органов же исполнительной власти регионального и муниципального уровней, которые должны быть охвачены электронным взаимодействием, в сотни раз больше. Именно поэтому внедрение СМЭВ без преувеличения можно назвать самым крупным интеграционным проектом, который когда-либо был реализован в России.

Активная работа правительственной подкомиссии позволила установить новые сроки введения СМЭВ в эксплуатацию. Федеральные услуги должны быть полностью переведены в электронный вид 1 октября 2011 года, для региональных услуг «час Х» сдвинут на 1 июля 2012 года. Как утверждает Попов, соблюдение первого срока вполне реалистично, поскольку из упомянутых выше 320 услуг федерального уровня около 300 уже согласованы и одобрены на уровне рабочих групп заинтересованных ведомств. Что касается второй даты, то готовность регионов к переходу на СМЭВ имеет территориальную специфику. Так, в стране выделены три пилотных региона (Самарская и Волгоградская области, а также Республика Башкирия), которые по темпам внедрения новых принципов межведомственного электронного взаимодействия практически не уступают федеральным ведомствам и к 1 октября этого года могут показать степень готовности, близкую к федеральной.

Охват остальных регионов должен заметно упроститься благодаря стандартизации регламентов и типизации госуслуг, предоставляемых на региональном и муниципальном уровнях. Другими словами, каждое федеральное ведомство обязано разработать и тиражировать в своих территориальных подразделениях единые методики согласования процедур межведомственного взаимодействия. Подобная унификация будет поддержана и инфраструктурно: в каждом регионе разворачиваются региональные СМЭВ, которые и обеспечат взаимодействие соответствующих ведомств.

Карло Вайти: «За последние шесть месяцев значительная часть наших аппаратных платформ была поставлена заказчикам Oracle, которые ранее не использовали продукцию Sun»

Завершившаяся интеграция Sun Microsystems в структуру Oracle заметно изменила позиционирование последней на мировом рынке ИТ. О взглядах корпорации на будущее центров обработки данных и о тенденциях рынка серверов старший директор по продажам серверных систем подразделения Oracle Hardware в регионе EMEA Карло Вайти рассказал научному редактору журнала «Сети» Павлу Иванову.

На форуме «Мир ЦОД 2011», проведенном нашим издательством 31 мая – 1 июня, вы говорили о центрах обработки данных следующего поколения. Каковы их основные отличия от ЦОД, с которыми мы имеем дело сегодня?

Назову две ключевые характеристики ЦОД следующего поколения. Первая связана с гибкостью и адаптивностью инфраструктуры. В нынешних условиях многие заказчики располагают ИТ-бюджетом, который явно недостаточен для решения стоящих перед ними задач. Выход из сложившегося положения может состоять в развертывании ЦОД с максимально гибкой инфраструктурой. Вторая особенность, вытекающая из первой, — это высокая эффективность. Заказчики, инициирующие проекты в области оптимизации или консолидации инфраструктуры, не ощущают их реальной ценности, а возврат на инвестиции не соответствует ожидаемому. Отсюда – потребность в максимальном упрощении инфраструктуры ЦОД и ускорении ее развертывания. Устранение сложности, присущей современным ЦОД, автоматически влечет за собой максимизацию ROI.

А как эти характеристики поддерживаются на уровне технологий?

Технологическую основу ИТ-инфраструктуры будущих ЦОД сформируют InfiniBand, системы хранения на флэш-памяти, которые уже сегодня могут применяться в ЦОД, заметно ускоряя функционирование СУБД и связующего ПО, и, наконец, технология гибридных архитектур хранения, означающая комбинацию сервера и системы хранения и существенно убыстряющая выполнение операций ввода-вывода. Если вы посмотрите на аппаратную часть решения Oracle Exadata, то в основе ее инфраструктуры – серверы баз данных, но помимо них имеется узел систем хранения, который отвечает за все операции ввода-вывода, относящиеся к базе данных. Тем самым снимается значительная часть нагрузки с центральных процессоров серверов баз данных, которые получают возможность обрабатывать транзакции, не связанные с вводом-выводом. Мы называем эту технологию интеллектуальной grid-сетью хранения. На мой взгляд, в перечисленных технологиях – основное отличие ЦОД будущего поколения от современных центров обработки данных.

Конечно, помимо этого существует ряд иных разработок, используемых в программных продуктах Oracle. К ним относятся, например, Hybrid Columnar Compression, позволяющая примерно на порядок уменьшить размер таблиц хранилищ данных, или Oracle Smart Flash Cash, заметно повышающая скорость операций с базами данных.

Сегодня довольно много пишут о месте ЦОД в парадигме облачных вычилений. Порой складывается впечатление, что через какое-то время все ЦОД переместятся в облака – частные либо публичные. Так ли это неизбежно или в будущем мы по-прежнему сможем наблюдать различные варианты использования ЦОД?

Мы считаем, что будут клиенты, которые переведут свои ЦОД в облако. Но найдутся и другие, которые никогда не перейдут на облачную архитектуру и продолжат использовать ЦОД в соответствии с традиционным сценарием. Причина здесь сугубо экономическая: переход на новую парадигму оправдан, если он позволяет максимизировать возврат инвестиций. В противном случае внедрение облачной парадигмы теряет всякий смысл. Повышение эффективности, которое сегодня заботит заказчиков в первую очередь, не обязательно соответствует облачной архитектуре. Идеи, лежащие в основе облачных концепций IaaS, SaaS или PaaS, прекрасны, однако далеко не все организации перейдут на соответствующие модели. Кому-то подойдут совершенно иные сценарии, не связанные ни с концепцией динамичности (agility), ни с облачными центрами обработки данных. Их может заинтересовать сценарий SaaS, где у Oracle есть довольно привлекательные предложения. Но и по этому пути пойдут не все: найдутся организации, которые предпочтут иметь ИТ-активы в собственности. Кто-то из них будет стремиться просто стандартизовать и оптимизировать свои ИТ-инфраструктуры. Их будет интересовать не архитектура ЦОД, адаптированная к облакам, а предельно упрощенный подход к архитектуре, позволяющий максимизировать производительность и сократить эксплуатационные расходы.

Теперь позвольте обратиться к рынку серверов. Какие тенденции наиболее ярко проявились здесь в последнее время? Видите ли вы изменения в потребностях заказчиков, в том числе в регионе EMEA?

Основная тенденция рынка серверов в нашем регионе – стандартизация ИТ-инфраструктуры в целях снижения издержек. Все большее число организаций разворачивают ключевые информационные системы на базе стандартизованной ИТ-инфраструктуры. Заметьте, что при этом речь не обязательно идет об процессорной архитектуре x86. Это могут быть другие решения, обеспечивающие приемлемые сроки возврата инвестиций.

Другая тендеция – использование сравнительно небольших серверов. Заказчики все чаще используют горизонтально масштабируемые решения, основанные на платформах с четырьмя или восемью сокетами. В Oracle мы называем такой подход диагональной масштабируемостью: вместо 2- или 4-сокетовых систем, подключенных к сети 10 Gigabit Ethernet, можно поставить 8-сокетовую машину класса midrange с интерфейсом InfiniBand и встроенными средствами Flash. Таким образом, диагонально масштабируемая архитектура сводится к замене лучших в своем классе платформ на системы midrange, которые немного сложнее, но зато обеспечивают более высокий уровень надежности и доступности, и к тому же проще в обслуживании. Именно такой подход реализован в комплексах Oracle Exadata и Exalogic.

Итак, основная тендеция, наблюдаемая в регионе EMEA, заключается в стандартизации ИТ-инфраструктуры, в снижении издержек и в отказе от систем с симметричной многопроцессорной обработкой, которые доминировали четыре-пять лет назад. Наши современные предложения вполне соответствуют этой тенденции.

Согласно последнему отчету IDC о состоянии мирового рынка Unix-серверов, после падения продаж, наблюдавшегося на протяжении тринадцати предыдущих кварталов подряд, в первом квартале нынешнего года Oracle вернула серверный бизнес в фазу роста. Какие факторы этому способствовали?

Основная причина нашего успеха в том, что заказчики начали осознавать преимущества специализированных систем на базе архитектуры Sun SPARC. Они стали активнее переходить на оптимизированные решения, и это привело к увеличению наших серверных продаж.

Другой фактор связан с интегрированным стеком: все больше клиентов стремятся покупать у нашей компании и аппаратные, и программные средства. Еще год назад этого не наблюдалось. Тогда только начался процесс объединения Sun Microsystems с Oracle. Сегодня оно полностью завершено, продукты Sun полностью интегрированы в портфель решений Oracle. Теперь покупатели СУБД, связующего ПО и приложений Oracle стремятся приобрести у нас и аппаратные платформы, поскольку именно на них достигается максимальное быстродействие нашего ПО. К примеру, за последние шесть месяцев значительная часть наших аппаратных платформ была поставлена заказчикам Oracle, которые ранее не использовали продукцию Sun. Этот процесс заметно увеличивает нашу рыночную долю.

Но пока она составляет 6,5%...

Да, но мы активно растем, и в этом отношении ближайший финансовый год будет для нас особенно важным. Мы стремимся укрепить свои рыночные позиции не только в сегменте систем с архитектурой x86, но и в классе решений на базе систем SPARC, таких как SPARC Supercluster. Наша цель – за ближайшие два-три года в несколько раз увеличить нашу долю на мировом рынке серверов, поэтому мы активно инвестируем в серверное направление.

В середине января в Лондоне прошла выставка British Education and Training Technology 2011, которую эксперты считают крупнейшим в мире смотром технологических достижений в сфере образования. Празднующая в этом году свое двадцатилетие BETT 2011 cобрала более 750 компаний-экспонентов и бесчисленное множество посетителей – руководителей образовательных ведомств и учреждений, учителей и ИТ-специалистов, журналистов и просто учащихся.

Проведение BETT в Великобритании неизбежно накладывает на выставку региональный отпечаток, тем не менее перед участниками предстала богатая палитра технологий для образования, а c проблемами, которые обсуждались на проходившей в рамках BETT 2011 конференции и определили состав экспозиций поставщиков, сталкивается практически любая страна. Основными темами выставки стали применение в образовательном процессе средств визуализации и интерактивных систем, активное использование современных инфокоммуникационных технологий.

Перед участниками BETT 2011 предстала богатая палитра технологий для образования

В перспективности применения ИТ-решений в вузах и школах сегодня никого убеждать не надо, но кризис обострил экономические аспекты этого процесса. Сокращение финансирования образовательной сферы во многих странах не сняло с повестки дня задачу повышения качества образования, но сделало особенно актуальным вопрос целесообразности приобретения тех или иных аппаратных и программных средств и эффективности их последующего применения. Лозунг More for less («Больше результатов за меньшие деньги») стал лейтмотивом выставки.

Проблема эффективности актуальна не только для Туманного Альбиона, но и для России.

«Нельзя сказать, что наша страна медленно внедряет продукты информационных технологий, — отмечает Елена Новикова, генеральный директор компании Polymedia. — Однако мы решительно отстаем в плане системности, комплексности. В Великобритании принята десятилетняя программа применения ИТ в образовании, что предполагает ежегодный мониторинг ее результатов, оценку эффективности произведенных внедрений и т. п. У нас, к сожалению, этого пока нет».

Специфика проблемы эффективности в образовательной сфере связана с тем, что, во-первых, здесь трудно напрямую подсчитать возврат произведенных инвестиций, по крайней мере в государственных школах и вузах. Во-вторых, те же аппаратные средства в образовании – это уже не просто серверы, ноутбуки и МФУ, для которых с определенной натяжкой можно было бы применить оценки, справедливые для других отраслей, а интерактивные доски, документ-камеры, специальные беспроводные решения, системы голосования и т. п.

На Западе интерактивные доски постепенно становятся стандартным оборудованием для классов и аудиторий. Выведенные на рынок канадской компанией SMART Technologies, сегодня они выпускаются десятками компаний, среди которых 3M, eBeam, Hitachi, NEC, Panasonic, Polyvision, Promethean, Teamboard. На выставке такие устройства встречались повсеместно, прежде всего – на стендах поставщиков программных решений, которые стараются идти в ногу с прогрессом интерактивных технологий.

Разработка образовательного ПО за последние годы оформилась в самостоятельный сегмент ИТ-рынка со своими лидерами и нишевыми игроками, системными и прикладными решениями, которые в свою очередь делятся на несколько категорий. Основу этого ПО образуют так называемые учебные платформы, которые в первую очередь служат для создания учебных курсов и отдельных уроков, но могут использоваться и для решения управленческих задач. Лидерами данного сегмента являются Capita Group, Frog, Fronter (c декабря 2008 года в составе Pearson), It’s Learning, Moodle, Serco Learning, RM Education, Studywiz, UniServity. На базе этих и других платформ сотни компаний предлагают различные прикладные разработки – от решений типа «безбумажная школа» до учебных курсов по различным предметам.

BETT 2011 показала, что сегмент образовательных решений не остался в стороне от тенденций, которые в последнее время характеризуют рынок ИКТ в целом. Так, если три года назад компаний, представлявших 3D-решения, можно было пересчитать по пальцам, то сегодня средства работы с трехмерным контентом предлагаются множеством фирм. Разработчики выводят на рынок программы для планшетных компьютеров, в первую очередь для iPad. Поставщики все чаще перемещают свои решения в облачные среды, и это относится к системам управления образовательным учреждением и финансовому ПО, приложениям для разработки учебных курсов, средствам управления вычислительной и сетевой инфраструктурой. Активным поборником этой идеи является компания Microsoft, продемонстрировавшая на выставке облачный сервис Office 365 for education, который в этом году придет на смену Live@edu. По словам Стива Бесуика, директора английского отделения Microsoft по решениям для образования, функциональность и облачная инфраструктура, доступная образовательным учреждениям в рамках нового сервиса, окажутся теми же, что и для бизнеса, а вот ценообразование будет строиться иначе.

Наконец, на рынок решений для образования все активнее проникает свободное программное обеспечение с открытым кодом. Примером может служить уже упомянутая система управления учебными курсами Moodle, которая сегодня широко используется школами, университетами, компаниями и независимыми учителями всего мира для разработки онлайновых учебных курсов.

Организаторы мероприятия – Sun Microsystems, Intel и OSP-Con – предоставили участникам возможность познакомиться не только с последними решениями для высокопроизводительных вычислений (HPC), но и взглянуть на этот сегмент ИТ-индустрии в целом. Правда, по словам Андрея Серегина, ведущего аналитика российского представительства IDC, рынка HPC в традиционном понимании этого слова не существует. Это связано как с разнородностью архитектур систем HPC, так и с тем фактом, что в рейтинге самых мощных высокопроизводительных систем (Top 500) заметную долю составляют нетиражируемые решения.

По данным IDC, в конце 2007 года в суперкомпьютерах устанавливалось лишь 3% всех продаваемых в мире серверов, но в денежном выражении их доля составила около 20%. Всего в прошлом году на высокопроизводительные системы в мире было потрачено 11,6 млрд долл., причем 65% этой суммы пришлось на кластерные системы. Среди систем, вошедших в рейтинг Top 500, в июне этого года на кластеры приходилось и вовсе 80%.

Россия пока продолжает двигаться «своим путем»: при общем объеме рынка 109 млн долл. доля кластеров едва перевалила за 11%, доминируют же у нас симметричные мультипроцессорные системы. Впрочем, IDC прогнозирует, что в перспективе продажи кластеров и в нашей стране будут расти быстрее, что станет отражением общей тенденции: появление кластерных архитектур, основанных на процессорах общего назначения, снизило среднюю стоимость таких систем, открыв доступ к HPC разным категориям заказчиков. Около 60% рынка HPC занимают системы стоимостью до 250 тыс. долл., и практически повсеместно применяются конфигурации стоимостью 15-25 тыс. долл. Демократичностью цен и неослабевающим спросом объясняется устойчивый рост мировых продаж высокопроизводительных решений (в среднем на 15% в 2007 году, в отдельных сегментах на 25%) на фоне практически стагнирующего мирового рынка серверов. Среднегодовые темпы роста продаж HPC-систем в России равны 20%, хотя эта цифра сильно меняется от сегмента к сегменту.

Расширяющееся распространение высокопроизводительных систем, перевод значительной их части на стандартные компоненты (64-разрядные процессоры от Intel и AMD, протоколы Gigabit Ethernet и InfiniBand для организации межузловых соединений) порождают новые проблемы. Одна из них связана с высокой стоимостью программного обеспечения, схема лицензирования которого зачастую привязывается к числу процессоров. Выходом из положения могут стать новые варианты лицензирования: оплата только реального времени, в течение которого использовалось ПО, либо переход на схему инсталляции нескольких экземпляров приложения в рамках одной лицензии.

Другая проблема – острая нехватка кадров. Продуктивное использование кластерных архитектур невозможно без эффективных средств управления, удобство работы с которыми оставляет желать лучшего, и без особого программирования, что требует подготовки специалистов. В техническом отношении дальнейший рост производительности HPC-систем ограничивают время отклика и иерархическая организация памяти. Отдельную проблему представляет организация электропитания и эффективного охлаждения суперкомпьютеров.

По мнению Павла Анни, директора по маркетингу компании Sun в России и странах СНГ, недостатки современных кластеров частично удастся преодолеть в гибридных системах, объединяющих кластерную и SMP-архитектуры, но их широкое распространение – дело отдаленного будущего. Другой путь, который набирает популярность, – аренда суперкомпьютерных вычислительных мощностей. В середине прошлого года ее стоимость составляла около 1 долл./час за один процессор HPC-системы.

Несмотря на сохраняющиеся проблемы, высокопроизводительные вычисления продолжают развиваться. Участникам семинара были представлены современные решения Sun Microsystems в области HPC, включая Sun Constellation System, Sun Magnum InfiniBand Switch, Sun Blade 6000 и 6480, а также последние разработки Intel в области процессоров для кластерных архитектур. На семинаре обсуждались также конкретные проекты развертывания и эксплуатации HPC-систем в ЦЕРН, Техасском суперкомпьютерном центре, Токийском технологическом институте, Дальневосточном государственном университете, ТюменьНИИГипрогаз, Институте проблем управления РАН, НИИ радио и Вычислительном центре РАН.