Компания ATI Technologies анонсировала свободно распространяемый программный инструментарий, позволяющий задействовать мощные, но не в полной мере загруженные графические процессоры для решения задач, традиционно возлагавшихся на центральный процессор компьютера. Новая технология получила название ATI Stream.

С помощью драйвера ATI Catalyst 8.12 платы графических ускорителей, построенные на базе микросхем семейства ATI Radeon HD 4000, могут, например, осуществлять преобразование видео в формате DVD в сжатое видео для отображения на экранах смартфонов. Драйвер подходит для двух миллионов уже проданных плат с установленными на них графическими процессорами компании ATI, входящей в состав AMD.

Графические платы могут выполнять и другие задачи, относящиеся к области ответственности центрального процессора. Например, поддерживать воспроизведение на экране видео высокой четкости или осуществлять рендеринг изображений компьютерных игр. В результате ресурсы процессора освобождаются для другой работы.

Среди других приложений, эффективность которых может повысить использование технологии ATI Stream, можно отметить продукты Adobe Photoshop CS4, After Effects CS4, проигрыватель Flash 10 и Acrobat Reader, а также Microsoft Windows Vista, PowerPoint 2007, Expression Encoder и проигрыватель Silverlight. К марту ожидается появление приложений редактирования видео, разработанных компаниями CyberLink и ArcSoft.

Выпуская бесплатный пакет комплект разработчика, ATI надеется привлечь к технологии ATI Stream и других разработчиков. Бета-версия программного обеспечения Stream SDK 1.3 была представлена в начале декабря.

"Видеоплаты способны не только улучшать качество игр, но и решать многие другие задачи, -- заметил Рауль Суд, основатель компании VoodooPC, специализирующейся на высокопроизводительных ПК, а в настоящее время - директор по технологиям группы настольных компьютеров старшего класса и игровых систем Hewlett-Packard. -- Новые операционные системы, к которым относятся в первую очередь Windows 7 и будущие версии Mac OS, должны более эффективно использовать свободные мощности графических процессоров. Сегодня это уже не фантазия, а складывающаяся тенденция".

ATI решила последовать примеру своего конкурента, компании nVidia, которая уже более года продвигает собственную технологию, позволяющую графическим чипам решать задачи процессоров общего назначения.

В ноябре nVidia представила компьютер Tesla Personal Supercomputer, который с помощью четырех процессоров, являющихся аналогами графических чипов старшего класса nVidia, способен демонстрировать быстродействие на уровне 4 TFLOPS. Показатели производительности ПК стоимостью 10 тыс. долл. оказались вполне сопоставимы с быстродействием систем, входивших несколько лет назад в список 500 самых мощных компьютеров мира. Этот факт объясняет, почему цена современных графических плат старшего класса сравнима с совокупной стоимостью всех остальных компонентов настольных ПК, в которые они устанавливаются. Платы на базе nVidia GeForce GTX 280, продаваемые по цене около 400 долл., имеют 240 процессорных ядер, каждое из которых работает на частоте 1,3 МГц, и 1 Гбайт графической памяти с тактовой частотой 1,1 ГГц. Новейший графический процессор ATI Radeon HD 4870 содержит почти миллиард транзисторов, что вдвое превышает число транзисторов самого быстрого на сегодняшний день четырехъядерного центрального процессора Intel Phenom.

На базе Radeon HD 4870 в ATI планируют создать еще более мощный процессор примерной стоимостью 1500 долл. Четыре таких процессора, размещенные в серверном отсеке высотой 4U, позволят построить суперкомпьютер, производительность которого будет находиться на уровне 10 TFLOPS.

Путь Дэвида Девитта к его нынешнему положению одного из ведущих в мире теоретиков по базам данных начался практически случайно.

"Я прошел лишь один курс по системам управления базами данных в вузе, - вспоминает Девитт. – Этого оказалось достаточно для того, чтобы меня назначили новым преподавателем по базам данных, стоило мне появиться в Университете штата Висконсин уже в качестве дипломированного специалиста (а это было в середине 70-х)".

Девитт согласился и с этого момента стал заниматься базами данных. Проработав более трех десятков лет в этой области, Девитт стал соавтором трех параллельных СУБД, одна из которых была продана корпорации NCR, опубликовал свыше 100 технических статей и был отмечен массой наград.

В прошлом году Девитт покинул стены университета. Но вскоре вернулся, уже в звании Microsoft Technical Fellow и главы нового исследовательского центра Microsoft Jim Gray Systems Lab, финансируемого, в основном, на средства его нового работодателя.

Девитт рассказал об этом центре во время своего выступления на недавней ежегодной конференции Professional Association for SQL Server.

Из более чем 2,5 тыс. участников конференции многие приехали на нее, чтобы узнать о недавно выпущенном Microsoft SQL Server 2008 или послушать о планах корпорации, которая рвется на рынок средств бизнес-анализа старшего класса, где сейчас доминируют игроки, подобные Teradata. Работает корпорация и над масштабированием своих средств работы с базами данных; в частности, на конференции демонстрировался инструментарий, который позволит администраторам баз данных управлять пулами из сотен баз данных SQL Server одновременно.

Что касается Девитта, этот центр для него – возможность проводить исследования, аналогичные тем, которыми он занимался последние 32 года, но при этом видеть, как результаты его научной деятельности значительно быстрее воплощаются в коммерческие продукты.

Одновременно центр обеспечивает Девитту финансовую поддержку, которую теоретические исследования в области баз данных в последние годы потеряли.

"Исследования в области оптимизации обработки запросов в параллельных системах – не то направление, занимаясь которым вы можете обратиться в Национальный научный фонд США или в DARPA и получить деньги", - заметил Девитт, добавив, что настоящие инновации в области баз данных теперь рождаются уже не в академических институтах, а в компаниях отрасли.

"В старые добрые времена можно было бы сколотить небольшую группу аспирантов и создать с ними прототип реальной СУБД. Сейчас системы стали настолько сложными, что такими силами сделать что-либо практически невозможно, - продолжил он. - Кроме того, самые умные студенты из-за границы больше не приезжали сюда для защиты диссертаций, а предпочитали уходить в инвестбанки. Это одна из причин, почему я ушел из университета".

Девитт не прочь попытаться в чем-то повторить успех своего хорошего друга, легенду в области баз данных Майкла Стоунбрейкера.

Профессор одновременно Калифорнийского университета в Беркли и Массачусетского технологического института, Стоунбрейкер известен своим ключевым вкладом в создание двух известных СУБД, Ingres и Postgres. Первая из них легла в основу Microsoft SQL Server, Sybase Adaptive Server Enterprise и еще нескольких популярных программных продуктов, а вторая воплотилась в современной СУБД категории Open Source.

Не менее важно и то, что Стоунбрейкер создал целую череду компаний, которые способствовали выводу на рынок этих СУБД, а также целого рядв не столь известных продуктов. К их числу относится и его последняя компания, Vertica Systems, производитель столбцовых систем хранения данных.

"Моя цель – сократить путь от исследований до производства, - сказал Девитт, подчеркнув, что он работает именно в подразделении Microsoft Data and Storage Division, которое выпускает SQL Server, а не в Microsoft Research. – Мы, безусловно, стремимся быстро и адекватно реагировать на требования рынка".

Центр получил свое название в честь Джима Грея, еще одного легендарного специалиста по базам данных , Джима Грея. Грей не только помогал создавать продукты вроде SQL Server, он также сотрудничал со многими учеными-теоретиками, в том числе и с Девиттом, который назвал Грея своим близким другом и учителем.

Сейчас в лаборатории Microsoft Jim Gray Systems Lab работает три человека. "Самое большее у нас будет 10–15 специалистов", - заметил Девитт. В целом, результаты исследований, проводимых лабораторией, будут принадлежать университету, но Microsoft получает возможность, хотя и не эксклюзивную, бесплатно пользоваться патентами. Результаты выполненных аспирантами исследований, при которых не используются конфиденциальные наработки Microsoft, будут принадлежать самим аспирантам.

Девитт в первую очередь намерен сосредоточиться на оптимизации выполнения запросов.

"В этом направлении за последние три десятка лет сделано очень мало", - считает он. Кроме того, Девитт планирует опробовать подход, предусматривающий 'малую оптимизацию' (little optimization), 'малое выполнение' (little execution) и т.д.

Если все пойдет удачно, результаты этих исследований могут быть реализованы в новых устройствах хранилищ данных Microsoft, получивших кодовое название Madison, которые, по заверению Девитта, создавались без его участия. Эти устройства должны быть выпущены в первой половине 2010 года.

Еще одна крайне интересующая Девитта проблема – это создание очень больших кластеров баз данных. В этой связи он имеет твердое мнение по поводу параллельной системы хранения данных MapReduce, используемой Google для индексации Web.

В своем блоге нынешней весной Девитт совместно со Стоунбрейкером заявили, что MapReduce — "не оптимальный и не новый тип баз данных, в ней отсутствуют возможности, которые администраторы баз данных и разработчики считают само собой разумеющимися, и она совершенно не стоит той шумихи, которая вокруг нее была поднята".

В ответ на эти заявления на авторов обрушилась масса критиков, большая часть которых утверждала, что MapReduce нельзя сравнивать со стандартной СУБД, поскольку она оптимизирована для выполнения одной, строго определенной задачи – быстро просеивать огромное количество беспорядочных, неструктурированных данных, - с которой даже самые крупные современные СУБД справиться не в состоянии.

Девитт сохраняет спокойствие. Он вспоминает, что генеральный директор корпорации Oracle Ларри Эллиссон пытался добиться его увольнения его в 80-х годах после того, как тесты на производительность баз данных, созданные Девиттом, показали отставание Oracle по основным показателям. "Я не думаю, что он в достаточной степени понимает, какие полномочия у него есть, а каких нет", - пошутил Девитт. Что касается упреков в пристрастном отношении к MapReduce, Девитт и Стоунбрейкер так отвечают на них в своем блоге: "Хотим лишь сказать, что мы не испытываем никакой личной неприязни к MapReduce. Она не убила нашу собаку, не украла наш автомобиль и не пыталась соблазнить наших дочерей".

Девитт допускает, что MapReduce недостаточно хорошо масштабируется, отмечая ее возможность продолжать обрабатывать запросы, даже если конкретный сервер вышел из строя, чего большинство кластерных баз данных делать не могут.

Но он остается при своем мнении, которое состоит в том, что истинная реляционная СУБД даст намного больше эффективных и хороших возможностей. В скором времени Девитт обещает выпустить исследование, подтверждающее его точку зрения.

Дэвид Девитт, подчеркивающий, что работает именно в подразделении Microsoft Data and Storage Division, которое выпускает SQL Server, а не в Microsoft Research, утверждает: "Моя цель – сократить путь от исследований до производства"

Компания Seagate Technology является лидером рынка жестких дисков, так что неудивительно, что она по-прежнему считает данную технологию перспективной.

В компании придерживаются такого убеждения, несмотря на то что физические ограничения этой старой технологии - с пластинами и приводами - не позволяют увеличивать скорость чтения (или, иначе, время доступа), а также невзирая на шумиху, поднятую вокруг конкурирующих твердотельных накопителей (Solid State Drive, SSD), создаваемых на базе технологии флэш-памяти.

Во время презентации, состоявшейся в начале ноября в ходе конференции Windows Hardware Engineering Conference (WinHEC), Стивен Хеллмолд, вице-президент Seagate по маркетингу и развитию бизнеса, подчеркнул, что традиционные накопители по-прежнему отличаются более низкой стоимостью в расчете на гигабайт.

И это достоинство традиционных дисководов не оставят без внимания пользователи, которым нужно хранить все больший объем видео и другой информации на своих настольных ПК, корпорации, использующие серверы с быстрорастущими базами данных и хранилищами данных, или компании, которые хотят избавиться от менее удобных ленточных накопителей.

Seagate не одинока в своих убеждениях. В отчете, опубликованном в начале лета, компания IDC прогнозировала, что с 2007-го по 2012 год объем мирового выпуска жестких дисков будет в среднем расти на 9% в год.

"На некоторых рынках появление SSD приведет к снижению спроса на жесткие диски, но отрасли жестких дисков, вопреки этим и другим конкурирующим технологиям хранения, удастся добиться в последующие годы рекордных объемов выпуска жестких дисков и уровня доходов", - писал аналитик IDC Джон Райднинг.

Seagate на этом не останавливается. В частности, в следующем году она планирует выпустить свои первые SSD. Хеллмолд также упомянул о двух способах, с помощью которых Seagate намерена увеличить ценность своих жестких дисков.

Первое – это реализация возможностей локального шифрования на съемных дисках, таких как новый корпоративный USB-накопитель Black Armor. "Для обеспечения максимальной безопасности необходимо выполнять шифрование ближе к данным", - считает Майк Алексенко, исполнительный директор Seagate по развитию рынка защиты клиентского уровня.

Black Armor соответствует стандарту IEEE 1667, регламентирующему подключение мобильных устройств хранения к различным компьютерам с защитой их данных от доступа неаутентифицированных пользователей.

Как подчеркнул директор Seagate по инжинирингу Монти Форехенд, Black Armor не конфликтует с технологией шифрования Microsoft BitLocker, используемой в Windows Vista, Windows Server 2008 и новой Windows 7. Она также работает с технологиями Group Policy и Active Directory корпорации Microsoft.

Кроме того, Seagate готовит второе поколение накопителей для мобильных ПК, в которых флэш-память типа SSD интегрирована в обычные жесткие диски.

Свой первый гибридный дисковод для ноутбуков, Momentus 5400 PSD, Seagate представила в октябре. Этот дисковод поставляется вместе с флэш-памятью емкостью 256 Мбайт и вращается всего 10% своего рабочего времени.

Первое поколение гибридных дисководов особого успеха не имело, как признал Хеллмолд. Но новые "усовершенствованные дисководы" (Advanced Storage Drive, ASD) позволят решить проблему производительности за счет того, что принятие решения о кэшировании информации во флэш-памяти или на диске будет производиться на уровне накопителя, а не операционной системы, как в Momentus.

В результате, как заметил Хеллмолд, возможно, что ASD окажутся не столь быстрыми, как SSD, но будут быстрее, чем традиционные жесткие диски.

Seagate продемонстрировала два идентичных мобильных компьютера, на которые загружались и выполнялись различные приложения. На ноутбуке, оснащенном гибридным диском ASD, загрузка и запуск на исполнение происходили на 40% быстрее.

Хеллмолд не сказал, когда именно будут выпущены новые диски ASD, не представил подробных спецификаций, а также не сообщил о предполагаемой цене. Он лишь отметил, что эти устройства будут предназначены для корпоративных потребителей или опытных пользователей и восполнят собой пробел, который диски со скоростью вращения 15 тыс. оборотов в минуту не могут заполнить, поскольку они слишком сильно нагреваются, чтобы их можно было использовать в мобильных компьютерах.

ASD станут конкурентами таких продуктов, как Intel Turbo Memory, которые уже выпускаются несколько лет и также были созданы с целью ускорить загрузку и запуск приложений, как отметил Алан Нейбел, директор компании Web-Ffet Research, специализирующейся на анализе рынка средств хранения.

Кроме того, Seagate столкнется с определенными проблемами, пытаясь создать спрос только на свои ASD, в то время, как и другие производители средств хранения активно занимаются созданием гибридных дисководов.

"Seagate необходимо значительно больше внимания уделять информированию пользователей, а также показывать, что ASD не только работают лучше, чем более старые гибридные диски, но и стоят дешевле", - считает Нейбел.

Как утверждают в Microsoft, мобильные компьютеры, оснащенные твердотельными накопителями (Solid State Drive, SSD) емкостью всего 16 Гбайт, смогут без труда работать с операционной системой Windows 7.

Эта операционная система и вспомогательные файлы, сгенерированные ею, в том числе файлы для восстановления, файлы, создаваемые для поддержания компьютера в режиме "сна", и временные файлы, потребуют 8 Гбайт, оставляя 8 Гбайт для приложений и данных пользователя. Это подчеркнул старший менеджер Microsoft Леон Брагински в ходе презентации, состоявшейся во время конференции Windows Hardware Engineering Conference (WinHEC).

"При полной установке система Windows 7 займет места меньше, чем Vista", - отметил Брагински, добавив, что 16 Гбайт – это вполне достаточно для устойчивой работы Windows 7.

Первый нетбук, выпущенный в прошлом году, Asus Eee PC 701, оснащается твердотельным накопителем емкостью 4 Гбайт. На нем работает Linux, поскольку для Windows Vista места не хватает, а также потому, что в то время Microsoft отказалась лицензировать XP производителям нетбуков.

С ростом популярности нетбуков Microsoft изменила к ним свое решение, позволив производителям этих устройств лицензировать Windows XP Home Edition.

Несмотря на то что многие нетбуки сейчас выпускаются со стандартными жесткими дисками, Microsoft работает над уменьшением размера XP, с тем чтобы эту операционную систему можно было устанавливать на ноутбуки младшего класса с SSD емкостью не более 2 Гбайт, такие как компьютер XO, созданный в рамках проекта One Laptop Per Child.

Сейчас Microsoft не предлагает Windows Vista для мобильных компьютеров, в частности, потому, что эта операционная система требует больше места для начала работы, и потому, что твердотельные накопители большей емкости, то есть на 8 Гбайт или 16 Гбайт, пока очень дороги.

По прогнозам специалистов Gartner, оптовые цены на SSD к 2010 году уменьшатся вдвое, и именно в эти сроки Microsoft планирует выпустить Windows 7.

Брагински не сообщил, когда Microsoft намерена создать сокращенную версию Windows 7, предназначенную специально для нетбуков. Он отметил, что пока Microsoft не планирует разрабатывать специальный пользовательский интерфейс для Windows 7, рассчитанный на небольшие экраны нетбуков. Кроме того, по его словам, Windows 7 не будет поддерживать загрузку с флэш-дисков USB.

Джош Вайсберг, директор группы Microsoft Reach Media Group, убежден: несмотря на предпринимаемые попытки стандартизации, говорить о совместимости метаданных фотографий пока не приходится. "Имеющиеся стандарты не взаимодействуют друг с другом", - признал Вайсберг.

По его словам, попытки такого рода не привели к успеху потому, что их возглавляли производители лишь одного звена из всей цепочки цифровой фотографии – производители фотокамер или производители программного обеспечения для обработки фотографий, – которые не учитывали потребности других сторон.

В результате существует шесть различных стандартов на хранение такой на первый взгляд простой информации, как надписи на фотографиях.

Microsoft возглавляет попытки исправить эту ситуацию за счет создания единой спецификации, которая, как предполагается, в конечном итоге объединит все существующие стандарты.

Участие в работе Metadata Working Group, о создании которой было объявлено на выставке Photokina в Кёльне (Германия), принимают шесть компаний. Это ведущие производители соответствующих сегментов рынка обработки изображений, в том числе Adobe Systems, Apple, Canon, Sony, Nokia и Microsoft. Новая группа, возглавляемая Вайсбергом, предлагает принципы, определяющие, каким образом нужно трактовать восемь основных полей метаданных. Эти принципы ориентированы на производителей камер и камерафонов, программного обеспечения, Web-сервисов и поисковых систем, таких как Flickr и Google.

К основным полям относятся ключевые слова, описание, дата и время, местонахождение (с различными полями для указания того, где располагался фотограф и где предмет), ориентация (то есть предполагаемая ориентация фотографии, горизонтальная или вертикальная), маркировка, копирайт и автор.

Эти принципы также требуют от производителей устройств и программного обеспечения гарантии, что никакие метаданные никогда не будут удалены без недвусмысленного указания пользователя.

Подобные спецификации не создают новых стандартов, но опираются на существующие, такие как Exif (Exchangeable Image File) или XMP (Extensible Metadata Platform) компании Adobe.

В других областях, таких как офисные документы, принято использовать понятные человеку форматы XML, такие как Office Open XML (OOXML) и OpenDocument Format (ODF), и не хранить метаданные в жестко определенных полях, а встраивать их (даже делая невидимыми) наряду с текстом или данными.

Почему бы просто не вставлять эти поля данных в свободно передаваемый XML и не реализовать в программном обеспечении, сервисах и механизмах поиска возможность определения способов извлечения этой информации?

По мнению Вайсберга, даже если такой подход будет работать для "специальных" данных, таких как названия или тэги, он не рассчитан на технические, математические данные, такие как координаты GPS, высота над уровнем моря или компасный курс. "В итоге разработчикам придется серьезно поработать над созданием кода для интерпретации этих данных", - сказал он.

Стандартизация метаданных не означает, что фотографам придется использовать все поля. Они могут, например, пропустить тэги с географической информацией, особенно на детских фотографиях, из соображений конфиденциальности.

Никакой платы или лицензионных отчислений не предусмотрено для производителей, которые хотят гарантировать, что их продукты соответствуют спецификации. Вайсберг пояснил, что выполнение стандарта оставляется на волю производителей, отметив, что любая попытка заставить производителей сотрудничать, даже если это пойдет на пользу потребителям, может привести к нарушениям антимонопольного законодательства.

"Однако никаких лицензионных выплат не предусмотрено, и выполнение требований стандарта не требует серьезной доработки. И что же тогда плохого в поддержке этой спецификации?", - заметил Вайсберг, хотя и признал, что, скорее всего, пройдет нескольких лет, прежде чем начнут появляться продукты, поддерживающие эти принципы.

Предстоит еще многое сделать. Стандартизованы пока лишь восемь полей. Metadata Working Group в конце концов может определить правила для сотен из них.

Сейчас эти принципы применимы только к цифровым фотографиям в формате JPEG, TIFF и Adobe Photoshop PSD. Они пока не касаются Raw, который предпочитают искушенные любители фотографии и все чаще выбирают профессионалы. В данном случае, как отметил Вайсберг, проблема заключается в том, что существует несколько форматов Raw, а не один общеотраслевой формат.

Когда-нибудь группа представит свою спецификацию одной из организаций по стандартам, такой как ISO, но когда именно это произойдет, пока неизвестно.

Кроме того, некоторые ведущие производители не присоединились к Metadata Working Group. По словам Вайсберга, несмотря на то что и Yahoo, которой принадлежит Flickr, и Google были приглашены к участию в работе группы, они отказались от сотрудничества.

Перспективы столкновения астероида с Землей рисуют в нашем воображении апокалиптические картины, которые по глубине проникновения в сознание могут сравниться разве что с глубиной воронки, образующейся в результате падения такого космического болида. На эту тему в Голливуде снято множество фильмов, начиная от никому не известных малобюджетных лент вроде фильмов "Небесный огонь" и заканчивая культовой классикой ("Ночь комет") и фантастическими блокбастерами, яркими примерами которых являются ленты "Метеор" и "Армагеддон".

Последнее десятилетие XX века было наполнено новостями о неотвратимо приближающихся к нам космических телах, одним из которых была комета Хейла-Боппа. В 1994 году на Юпитер упала комета Шумейкера-Леви 9, фрагменты которой достигали 2 км в диаметре. Наблюдения, осуществляемые в последнее время с помощью новейших спутников и телескопов, показывают, что вероятность столкновения, которой ранее опасалась лишь небольшая группа узких специалистов, на самом деле не так уж мала.

Pan-STARRS на страже

Наиболее амбициозным проектом последнего времени, направленным на своевременное обнаружение околоземных объектов, стали работы по созданию системы Pan-STARRS (Panoramic Survey Telescope and Rapid Response System).

В настоящее время участники проекта Pan-STARRS, в котором принимают участие сотрудники Гавайского университета, ряда других вузов и Военно-воздушных сил США, занимаются тестированием телескопа, оборудованного самой мощной из существующих в мире цифровых камер с разрешением 1,4 млрд пикселов.

На создание системы Pan-STARRS уйдет еще несколько лет. В своем окончательном варианте она будет оснащена четырьмя телескопами, в каждом из которых появится камера с разрешающей способностью 1,4 гигапиксела.

Pan-STARRS должна стать самой мощной, быстрой и всеохватывающей системой слежения за космическим пространством, которая будет контролировать практически все околоземные объекты, имеющие размеры более 300 метров в диаметре, а также множество более мелких тел.

А наблюдать здесь есть за чем. Примерно раз в год в верхних слоях атмосферы Земли взрывается астероид от 5 до 10 метров в диаметре. При этом количество освобождающейся энергии превышает мощность атомной бомбы, сброшенной на Хиросиму. Более крупные тела вполне могут преодолеть атмосферу, принеся с собой огромные разрушения. Падение объекта диаметром около 300 метров приведет к глобальной катастрофе. Астероид, упавший в 1908 году в районе реки Подкаменная Тунгуска, вызвал взрыв мощностью 10-15 мегатонн в тротиловом эквиваленте (это в тысячу раз сильнее атаки на Хиросиму). По некоторым оценкам, в Сибири было повалено 80 млн деревьев. Сила возникшего в результате землетрясения составляла около пяти баллов по шкале Рихтера. При этом метеорит имел всего лишь около 50 метров в диаметре. По мнению американского астронома Юджина Шумейкера, в ближайшие 200 лет нас ждет встреча еще с одним подобным пришельцем.

Оборудованная пока только одним телескопом система Pan-STARRS уже сейчас формирует за ночь изображения общим объемом 1,4 Тбайт. Решение задач по их сжатию, хранению и обработке требует от специалистов по базам данных серьезных усилий.

"Вместо того чтобы заниматься созданием дорогостоящего суперкомпьютера, оборудованного тысячами процессоров, разработчики системы Pan-STARRS предпочли использовать кластер из полусотни ПК-серверов, подключенных к дисковому хранилищу объемом 1,1 петабайт с помощью быстрого сетевого межсоединения Infiniband", -- сообщил один из архитекторов базы данных Pan-STARRS, профессор Университета Джонса Хопкинса Алекс Шалаи.

Таким системам управления базами данных, как IBM DB2, TeraData и Oracle Database, авторы проекта предпочли Microsoft SQL Server 2008.

Склонение чаши весов

Даже в корпорации Microsoft признают, что несмотря на совершенствование технологии сжатия данных и повышение эффективности управления распределением рабочей нагрузки, SQL Server 2008 вряд ли мог бы считаться главным кандидатом на роль претворения в жизнь схемы масштабирования scale-out, предполагающей наращивание мощности системы за счет добавления новых узлов в кластер.

"SQL Server 2008 выводит нас на новый уровень в рамках модели scale-up, когда наращивание мощности осуществляется в пределах одной машины, -- отметил Тед Куммерт. -- А вот приобретение DATAllegro, производителя специализированных серверных устройств для управления крупными хранилищами данных, должно помочь Microsoft добиться более высокой степени масштабируемости и с точки зрения развития кластеризации".

Впрочем, выбор разработчиками Pan-STARRS этой СУБД обусловлен сразу несколькими причинами.

Одна из них связана с ограничениями бюджета. Развертывание ИТ-инфраструктуры Pan-STARRS обойдется ее создателям всего лишь в 750 тыс. долл. Это объясняется невысокой стоимостью массовых моделей компьютеров и серьезными скидками на SQL Server и Windows Server 2008, которые Microsoft предлагает научным и учебным заведениям.

"Представители научного сообщества всегда располагают весьма ограниченным бюджетом, поэтому нам хотелось бы стать примером, которому смогут последовать и другие", -- пояснил Шалаи.

Однако гораздо более важную роль здесь, по-видимому, сыграли долговременные контакты с астрономическим сообществом, которые поддерживал Джим Грей, заслуженный сотрудник Microsoft Research. (Этот авторитетный исследователь технологий управления базами данных пропал без вести в океане в начале 2007 года и, скорее всего, погиб.) В свое время Грей принимал активное участие в создании других астрономических баз данных -- огромного бесплатного архива спутниковых фотографий Земли TerraServer, созданного на базе SQL Server и Web-технологий, а также хранилища астрономических изображений SkyServer, общий объем которого составлял 40 Тбайт.

Платформа распределенных баз данных, которая будет использована в системе Pan-STARRS (и, хочется надеется, в других масштабных прикладных системах), названа GrayWulf - как раз в честь Грея.

"Грей работал с нами более десяти лет, -- отметил Шалаи. -- И конечно, его деятельность достойна всяческого уважения".

"Он изменил астрономию, сделав ее такой, какой она является сегодня", -- подчеркнула Мария Ньето-Сантиэстебан из Университета Джонса Хопкинса, являющаяся техническим руководителем проекта Pan-STARRS.

От лупы к мегахранилищу

Впервые астрономы обратились к идее хранения цифровой информации в середине 70-х годов, вскоре после того, как на смену обычным фотографическим пластинкам начали приходить технологии цифровой съемки.

Высокоэффективные цифровые камеры стали заметным шагом вперед по сравнению с фотопластинками, которые астрономы, пытавшиеся сосчитать звезды и галактики, вынуждены были рассматривать под лупой. Однако разрешение цифровых изображений, находившееся в то время на уровне 260 тыс. пикселов, оставляло желать лучшего.

Системы хранения данных также находились в зачаточном состоянии. Изображения представлялись в низкоуровневом формате, созданном на основе 80-символьных перфокарт. В плоских файлах, к которым все мы привыкли, было трудно осуществлять поиск и выполнять другие манипуляции.

Грей руководил созданием хранилища SkyServer, которое содержит 100 млрд записей и обслуживает 10-15 тыс. профессиональных астрономов, а также бесчисленное количество учащихся.

Система Pan-STARRS, основы которой помогал закладывать Грей, значительно превосходит по своим масштабам предыдущие проекты. Ожидается, что к концу 2010 года она вместит 300 Тбайт данных, а отдельные ее таблицы будут достигать 20 Тбайт. В хранилище появятся данные о более чем 140 млрд космических объектов, причем активное наблюдение будет вестись за о 5,5 млрд объектов.

Расчетная емкость хранения Pan-STARRS составляет 1 петабайт, но вряд ли в ближайшие годы в системе будет размещаться такой большой объем данных. И тем не менее она остается одной из самых крупных на сегодняшний день баз данных в мире.

В кластерных системах данные разбиты на разделы, а в качестве индекса используются отдельные базы данных имен. Поскольку у большинства космических объектов, в отличие от Земли или Альфа-Центавры, нет официальных собственных имен, основная масса поисковых операций выполняется с помощью графического интерфейса, который выглядит примерно так же, как интерфейс систем MapQuest или Google Maps.

Помимо поиска информации об отдельных звездах или галактиках система Pan-STARRS будет использована для решения некоторых задач по глубокой добыче данных, то есть по формированию, если хотите, астрономического интеллекта. К примеру, Шалаи рассчитывает на импорт старой астрономической информации, собранной во времена, предшествовавшие наступлению цифровой эпохи, и создание механизма перекрестного сравнения космической информации -- основной базы данных, в которой будут присутствовать ссылки на всю старую и новую информацию о каждой отдельно взятой звезде или планете.

Pan-STARRS может выступать также в роли "облачного" ресурса для внешних астрономов, которым будет разрешено выполнять удаленные запросы и хранить результаты в базе данных Pan-STARRS. Определенная трудность, по признанию Ньето-Сантиэстебан, заключается здесь в том, что большинство астрономов привыкли разрабатывать приложения на C++, не используя SQL.