Мир, в котором правят данные

На прошедшей в середине июля конференции uVALUE Convention 2010, приуроченной к 100-летней годовщине Hitachi, самым популярным оказался лозунг «Данные правят нашим миром» — девиз компании Hitachi Data Systems, отнюдь не самой большой из тех, что входят в состав многопрофильной корпорации.

Поначалу это обстоятельство удивило, но затем стало ясно: особое внимание к HDS вовсе не случайно. На uVALUE, где собралось 50 тыс. гостей, был анонсирован новый курс Hitachi. Отныне технологиям, предназначенным для работы с данными, отводится более приоритетное место, нежели традиционным направлениям.

О готовящихся переменах в стратегии объявил Хироаки Наканиши, президент Hitachi, назначенный на этот пост в начале текущего года. Перед ним стоит задача радикально перестроить схему бизнеса, сложившуюся за предшествующие 100 лет и характерную для японских предприятий-конгломератов. Наканиши являет собой совершенно необычный для Японии пример менеджера высшего звена — по-европейски открыт, допускает критические высказывания и считает необходимым вводить в руководство иностранных специалистов. Например, на должность научного руководителя HDS назначен Клаус Майкельсон, а главным стратегом стал Майкл Хей; оба они прежде работали в отделении HDS в Калифорнии, а теперь перебрались в японскую штаб-квартиру.

История Hitachi начиналась в 1910 году с производства электрических двигателей; за последующие годы спектр выпускаемых продуктов расширился от бытовых изделий до ядерных реакторов и скоростных железнодорожных составов. В мемориальной экспозиции uVALUE можно было увидеть самый первый электромотор, а также ряд других изделий, ставших сегодня музейными экспонатами, в том числе мэйнфрейм семейства HITAC, выпускавшийся Hitachi в 70-е годы, и дисковый накопитель того же времени, родоначальник нынешних дисковых систем. Три-четыре десятилетия назад не менее дюжины японских компаний производили разнотипные компьютеры собственной разработки, но их дальнейшее развитие, как развитие почти всех остальных национальных компьютерных программ, прекратилось, так что в известном смысле Hitachi оказалась исключением.

Нынешнее благополучие HDS объясняется в том числе и тем, что по своему кадровому составу, культуре, расположению заводов и лабораторий она является японско-американской. В 1989 году корпорация Hitachi купила компанию National Advanced Systems и переименовала ее в Hitachi Data Systems. В течение последующих десяти лет HDS выпускала мэйнфреймы, программно совместимые с компьютерами IBM, но в 1999 году было решено ограничиться производством систем хранения. (Следует отличать HDS от другой «дочки» -- Hitachi Global Storage Technologies, которую образовали в 2003 году, объединив собственное производство дисков Hitachi и соответствующее производство, купленное у IBM.)

Провозглашенный Наканиши курс связывают, прежде всего, с ориентацией на технологии для создания «социальных инфраструктур», на интеграцию энергетических, транспортных, коммуникационных технологий, немыслимую без обработки данных и создания возможностей для получения информации. Ориентация на потребности общества отражена и в названии конференции uVALUE, которое интерпретируется как «ценности для вас», или "уникальные ценности". Руководство Hitachi уверенно считает свою корпорацию единственной в мире, способной поставить перед собой такую комплексную задачу и решить ее. Этот выбор потребует сосредоточения на ударных направлениях и отказа от тех, где позиции конкурентов более сильны, например, от производства бытовой электроники и полупроводниковых изделий. В числе наиболее перспективных названы подразделения HDS, HGST, а также Hitachi Server Group, производящее серверы BladeSymphony.

Что касается создания социальных инфраструктур HDS видит свою миссию в развитии целостного технологического подхода для работы с данными различных типов: структурированными, полуструктурированными, неструктурированными и медийными. Такой подход предполагает создание объединенной виртуализованной инфраструктуры хранения и унифицированной системы управления и манипулирования данными. На данный момент подобной универсальной среды хранения не существует, можно лишь  говорить о двух подмножествах технологий — облачной платформы для хранения неструктурированных данных Hitachi Content Platform (HCP) и паре платформ для хранения структурированных данных --Universal Storage Platform V (USP V) и VM (USP VM).

В основе первой платформы (ранее она называлась Hitachi Content Archive Platform) лежит архитектура RAIN. Надежный массив независимых или недорогих узлов (Reliable Array of Inexpensive/Independent Nodes) обеспечивает распределенное хранение данных на кластере, составленном из серверов, число которых может доходить до 96. Помимо надежности и компактности RAIN гарантирует высокую скорость выполнения операций ввода-вывода. В HCP реализована проверка целостности данных, RAID 6, репликация, криптографическая защита и многие другие возможности. Для ускорения операций выделены узлы двух типов — облачного хранения и поиска. Работу с платформой поддерживает пакет Hitachi Data Discovery Suite, который позволяет пользователю через единый интерфейс осуществлять поиск по множеству источников данных. В минимальной конфигурации системы четыре узла, а если число узлов максимально и используются диски на 1 Тбайт, то объем хранения достигает 40 Пбайт. Версия HCP 3.0 поддерживает виртуальные пулы, включающие USP-V и TagmaStore AMS, а при подключении через виртуализующие контроллеры HDS V — и систеы хранения других производителей.

Hitachi USP V (старшая модель) и USP VM (младшая) выпускаются с 2007 года; в 2011 году ожидается их обновление. Обе модели — наследницы выпущенной в 2004 году системы TagmaStore, первого виртуализирующего решения HDS. Все они опираются на исследования, выполненные группой во главе с профессором Ясумото Ямамото. Результатом этих исследований стала схема, в которой виртуализация выполняется контроллером системы хранения (storage-based), в отличие от той, где данные функции возложены на серверы (server-based), и той, где за них отвечают коммутаторы (switch-based). На данный момент USP — самые успешные виртуализующие системы, всего их продано более 15 тыс., что превышает суммарное количество всех конкурентов. Их контроллеры позволяют объединять в единый пул внутренние и внешние накопители. В USP реализованы все современные функции систем хранения, в том числе сокращающая потребность в объеме хранения, технология «тонкого» резервирования ресурсов (thin provisioning), повышающая производительность, балансировка операций ввода-вывода, динамическая миграция данных. Ориентация на сервисы позволяет точнее и полнее удовлетворить требования пользователей к производительности, готовности, стоимости и безопасности систем хранения. В USP V и USP VM используются контроллеры разных типов, в первом случае — корпоративного класса, ориентированный на максимальную производительность, а во втором — модульный, допускающий возможность расширения и рассчитаный на средние предприятия.

Судя по прозвучавшим на uVALUE Convention 2010 заявлениям, HDS намеревается развивать не только системы хранения, но и новые технологии -- наподобие работы с изображениями высокой четкости, видеопоиска, приложений систем глобального позиционирования для поиска людей и объектов и даже такого оформившегося совсем недавно и очень необычного направления, как "физика организации» (organizational physics), суть которого составляет использование заимствованных из физики методов для изучения свойств больших организаций.