Компания Kognitio, разрабатывающая аналитические инструменты управления и обработки данных, дополнила свой флагманский продукт, СУБД WX2, поддержкой виртуальных кубов данных, что, как утверждают в компании, устранит необходимость в автономных хранилищах данных.

Новая технология получила название Pablo. Она представляет собой набор метаданных, благодаря которым СУБД может на лету формировать OLAP-кубы для последующей аналитической обработки.

Pablo более всего подоходит для клиентов, которые уже используют кубы данных и хотели бы снизить накладные расходы, связанные с их созданием и перезаполнением данными, пояснил Шон Джексон, вице-президент Kognitio по маркетингу.

Как правило, в организациях производится рендеринг кубов данных, представляющих собой многомерные строки данных, получаемых из актуальных баз данных, в автономных хранилищах данных. Затем эти данные анализируются, что никак не влияет на производительность баз данных источников.

«Быстродействие серверов баз данных растет, но они все равно не справляются с дополнительной нагрузкой, связанной с аналитическими операциями", — пояснил Джон Томпсон, директор Kognitio в США. Он отметил рост популярности размещаемых в памяти баз данных, то есть таких баз данных, которые полностью располагаются в памяти одного или нескольких серверов, что позволяет сократить время реакции.

Технология Pablo имеет сходный с ними принцип действия. Она создает данные внутри куба данных по запросу с использованием набора метаданных в дополнительной таблице СУБД. "Поэтому какой бы инструментарий бизнес-аналитики ни использовали клиенты — Microsoft Excel, или Business Objects, или MicroStrategy, — им не потребуется промежуточный слой, — отметил Томпсон. —  Pablo позволяет работать с кубами, при этом многократно увеличивается производительность».

Вместе с этой технологией Kognitio предлагает коннектор многомерных выражений MDX (Multi-Dimensional Expression), позволяющий использовать любое внешнее приложение, поддерживащее MDX, для взаимодействия с виртуальными кубами WX2 таким же образом, как и с любыми другими кубами данных.

Эти кубы данных выполняют все те же функции, что и стандартные кубы, без ограничения размерности. В силу того что решение WX2 поддерживает большее число одновременно выполняющихся операций, оно может работать на нескольких серверах, а это означает, что дополнительная нагрузка по созданию виртуальных кубов данных не отражается на производительности, если пользователи располагают достаточно большой аппаратной базой.

Помимо сокращения расходов на создание независимого хранилища данных, Pablo дает дополнительное преимущество в том, что позволяет анализировать актуальные данные и не ждать, когда последние данные будут выгружены в хранилище, отметил Томпсон.

Компания планирует предложить полностью работающую версию в июне и вскоре предоставит доступ к бета-версии.

В Oracle объединили две технологии управления файлами в единый пакет, получивший название Oracle Cloud File System. В корпорации рассчитывают, что таким образом ей удастся привлечь больше клиентов на новом рынке облачных систем.

"Пакет позволяет развернуть кластерную файловую систему на базе системы автоматизированного управления хранением", - пояснил Боб Том, директор Oracle по управлению продуктами. Такое решение может заинтересовать организации, которые разворачивают собственные облачные системы, его можно также использовать для тестирования облачных приложений перед размещением их на внешнем хостовом сервисе, отметил Том.

В состав пакета вошли такие программы автоматизированного управления хранением (Automatic Storage Management, ASM), как Dynamic Volume Manager и ASM Cluster File System. "Cloud FS — новое название для двух этих технологий, построенных на базе идей ASM", — подчеркнул Том.

ASM Cluster File System представляет собой одноранговую файловую систему, позволяющую сохранять данные на нескольких серверах и получать доступ к ним с любого из этих серверов. Помимо возможности получать данные непосредственно с любого узла кластера, их можно получить с помощью протоколов сетевых файловых систем, например NFS (Network File System) или Microsoft CIFS (Common Internet File System).

Файловая система поддерживает также целый ряд функций, полезных для ИТ-администратора. Развитая система управления привилегиями дает  возможность определять, когда разрешить доступ к файлу и из каких приложений он может осуществляться.

Файлы также могут снабжаться ярлыками, например названием приложения, из которого к нему производится доступ. Пользователь, к примеру, может поставить определенный ярлык на все файлы, принадлежащие одному приложению, а затем произвести над всеми этими файлами какое-либо действие, допустим создать их резервную копию. "Это почти что виртуальный каталог, в котором операцию одного типа можно применить к набору файлов из нескольких каталогов", — пояснил Том.

Cluster File System способна функционировать и как самостоятельная файловая система; кроме того поверх нее может быть развернута другая файловая система, скажем EXT3, NTFS (Network File System) или ZFS (Zetabyte File System), что дает возможность использовать и функции, поддерживаемые этими системами. При таком подходе пользователь теряет возможность создавать кластеры данных, распространяющиеся на несколько серверов, но другие полезные функции Cluster File System остаются доступными.

ASM Dynamic Volume Manager также предоставляет ряд полезных функций. В частности пользователи могут добавлять в систему дополнительные диски, не заботясь о равномерном распределении данных между всеми доступными ресурсами хранения.

"Можно наращивать или уменьшать файловую систему, переносить ее с одного пула ресурсов хранения на другой, и пользовательские приложения будут продолжать функционировать", — отметил Том. ASM при этом позволяет  делать доступные только для чтения мгновенные снимки файловой системы.

Cloud FS — не первая файловая система на базе кластера, предлагаемая Oracle. Корпорация курирует также проект создания программного обеспечения с открытым кодом Lustre. Однако, по словам Тома, этот проект в большей степени ориентирован на среды высокопроизводительных вычислений, объединяющие свыше тысячи серверов. Cloud FS больше подходит для сред меньшего размера, с числом узлов порядка 25. Впрочем, система успешно тестировалась и для конфигурации из 100 узлов.

"Lustre предоставляет в целом те же возможности, но она относится к категории систем 'не для слабонервных'. Она требует серьезной работы по конфигурированию и настройке. Это не та работа, которую хотелось бы проделывать для небольшой системы", — уточнил Том.

Oracle Cloud FS работает на SPARC-серверах и серверах в архитектуре x86 под управлением операционных систем Solaris или Linux, а также на серверах на платформе Power под управлением операционной системы IBM AIX.

Стоимость Cloud FS рассчитывается с применением ценового механизми, специально разработанного Oracle для многоядерных процессоров, и составляет 5 тыс долл. в среде Windows на платформе x86.

Выпущена новая версия распределенной СУБД с открытым кодом Cassandra, разработка которой в настоящее время ведется силами Apache Software Foundation. Особенностью Cassandra 0.7 стала возможность размещения до 2 млрд столбцов в каждой строке.

СУБД, способная хранить такие длинные строки, может оказаться особенно полезной для проектов систем облачных вычислений, рассчитанных на обработку особо больших объемов данных, и крупномасштабных веб-приложений, утверждают разработчики.

«Cassandra может быть ключевым компонентом облачных и других приложений, имеющих дело с крупными массивами данных и большими объемами запросов, — полагает Джонатан Эллис, вице-президент по проекту Apache Cassandra и сооснователь компании Riptano, оказывающей профессиональные услуги поддержки распределенной СУБД. — В наибольшей степени преимущества Cassandra проявятся при использовании в основе крупных сайтов, характеризующихся высокими темпами роста посещаемости».

Cassandra используется в ряде популярных веб-сервисов, таких как Digg, Twitter и Facebook (компания Facebook является одновременно разработчиком технологии, положенной в основу СУБД). Как утверждают авторы проекта, самый крупный на сегодня кластер с Cassandra состоит более чем из 400 серверов.

В предыдущих версиях СУБД ограничения на количество столбцов в строке не было, однако предельный размер каждой строки составлял около 2 Гбайт. В Cassandra 0.7 это ограничение устранено.

Благодаря поддержке больших строк системы пользователи Cassandra смогут «на лету» создавать практически неограниченное количество столбцов, утверждает Эллис.

Поскольку Cassandra не поддерживает обработку SQL-запросов, дополнительные столбцы необходимы для анализа данных внутри конкретной строки, отметил в блоге Максим Гринев, научный сотрудник Высшей технической школы Цюриха.

В числе других новых особенностей Cassandra 0.7 — поддержка вторичных индексов, благодаря которой обеспечивается простой способ опроса данных на локальных машинах, и возможность вносить изменения в схему базы данных без перезапуска всего кластера.

Cassandra относится к классу нереляционных СУБД. Такие системы обеспечивают возможность быстрого и простого сохранения очень больших объемов данных и, как правило, работают в кластеризованной среде.

Исходный вариант Cassandra был разработан программистами Facebook для используемого в социальной сети механизма поиска по входящим сообщениям. Ввиду потребности в управлении большими объемами данных в Facebook решили воспользоваться архитектурой Google Big Table, поскольку на ее основе можно было создать строчно-столбцовую СУБД, способную работать на множестве узлов.

Недостаток механизма Big Table состоял в том, что эта архитектура опирается на мастер-узел, объяснил Эллис в интервью Службе новостей IDG на конференции ApacheCon в ноябре прошлого года. Вся работа Big Table зависит от единственного узла, который координирует операции чтения и записи, выполняемые всеми остальными узлами. Если он дает сбой, вся система становится неработоспособной, указал Эллис.

Поэтому в основе Cassandra используется гибрид из Big Table и разработанной в Amazon архитектуры Dynamo. Благодаря последней удалось устранить уязвимое звено в виде головного узла, обеспечив при этом простоту масштабирования системы. Архитектура Dynamo не предполагает наличия головного узла. Любой узел может принимать данные для всей системы и отвечать на запросы. Данные при этом тиражируются между множеством хостов.

Cassandra — не единственная кластеризованная СУБД, созданная с использованием идей Big Table и Dynamo. Начинающая компания Cloudant на основе аналогичных технологий разработала кластеризованную версию СУБД с открытым кодом CouchDB — BigCouch. Совсем недавно компания объявила, что количество пользователей размещаемой версии BigCouch достигло 2,5 тыс.

Micro Focus расширила базовые функции Кобола целым рядом вызовов, заимствованных из C# и Java

Компания Micro Focus внесла дополнения в язык программирования Кобол, и теперь приложения, написанные на этом языке, могут выполняться в облачной среде Azure корпорации Microsoft.

В версии Visual Cobol R3 поддерживается возможность предварительного просмотра программ на Коболе, выполняющихся в виртуальной машине Java (JVM), сообщил Питер Андертон, директор Micro Focus по продуктам.

Компания проделала большую работу по адаптации этого унаследованного языка к современным компьютерным средам. Теперь он вполне может использоваться для новых проектов.

"Приложение, написанное в Visual Cobol, может работать без изменений как в Unix или Linux, так и в среде JVM, а также выполняться размещаемым сервисом на базе Azure либо на платформе Microsoft .NET 4.0", — подчеркнул Андертон.

Предыдущая версия Visual Cobol представляла собой подключаемый модуль для Microsoft Visual Studio 2010. Это дало возможность пользователям Visual Studio писать программы на Коболе. Версия 3 предлагается также в виде подключаемого модуля к интегрированной среде разработки Eclipse IDE, в дополнение к Visual Studio.

Для приложений на базе Azure, в Visual Cobol используется характерная для Visual Studio 2010 возможность публиковать приложения в облаке Azure. (Azure — это платформа предоставления приложений в виде сервисов, предлагаемая корпорацией Microsoft и ее партнерами.) По словам Андертона, его компания впервые предлагает версию Visual Cobol с такой возможностью.

Для пользователей Linux и Unix в Visual Cobol R3 поддерживается функция, называемая Development Hub, которая позволяет писать программы на Коболе, пользуясь средствами настольного ПК, а компилировать и отлаживать код на удаленной машине.

Технический предварительный просмотр выполнения программы в среде JVM представляет собой пробное исполнение этой возможности, которая будет полностью реализована в версии Visual Cobol R4 (ее выпуск намечен на май). Micro Focus разработала компилятор для Кобола, который преобразует код на Коболе в байткод Java, обеспечивая возможность его исполнения на платформе JVM.

"Технология уже разработана, однако поддержка ее применения еще нуждается в доработке", — признал Андертон. В то же время представленный сейчас релиз позволяет разработчикам начать осваивать JVM в ожидании R4.

"Кобол теперь сосуществует с Java. Взаимодействие этих технологий существенно упрощено. Можно создавать составные приложения, опирающиеся на лучшие возможности каждого из языков", — подчеркнул Андертон.

Micro Focus расширила базовые функции Кобола целым рядом вызовов, заимствованных из C# и Java. Предполагается, что эти конструкции сделают проще использование этого языка для современных программистов.

Язык Кобол был создан в 1959 году для упрощения написания программ за счет употребления синтаксиса, более понятного неспециалистам в программировании. Приложения, написанные на Коболе, применяются и сейчас. По оценкам компании, около 220 млрд строк кода работают на мэйнфреймах и других системах.

Многие полагают, что Кобол уже следует считать устаревшим языком, но Андертон уверен, что на этом языке можно разрабатывать новые проекты, и для этого есть целый ряд причин.

"Кобол обеспечивает действительно эффективную работу с простыми файловыми структурами и операциями над крупными наборами данных. В этом ему нет равных", — отметил Андертон. Точность цифровых операций его такова, что достичь ее с помощью других языков непросто до сих пор. Например, он поддерживает выполнение математических операций до 38-го знака. Кроме того, его легко изучить. "Это один из самых простых языков для понимания программирования", — заявил Андертон.

В то время как внимание всего компьютерного мира было сосредоточено на выставке Consumer Electronics Show, создатель Linux Линус Торвальдс представил версию 2.6.37 ядра своей операционной системы.

В числе усовершенствований — лучшая масштабируемость поддержки симметричной многопроцессорной обработки (Symmetric Multiprocessing, SMP), возможность компиляции ядра с отключенной опцией Big Kernel Lock, улучшенные средства защиты, поддержка многих новых драйверов для обеспечения совместимости с более широкоим диапазоном аппаратных средств.

Внесены изменения в характер поддержки ядром файловых систем ext4 и XFS, что делает более эффективной их использование в системах SMP-архитектуры. Существенно оптимизирована маршрутизация и поддержка устройств, что, несомненно, должны приветствовать администраторы SMP-систем.

Торвальдс, осуществляющий координацию работ над ядром, сообщил о готовности версии 2.6.37 в рассылке Linux Kernel. Релиз выпущен спустя немногим более двух месяцев после выпуска в октябре прошлого года версии 2.6.36. Добавлено примерно 1 140 000 строк кода, как сообщает Linux Weekly News.

Для взаимодействия с файловой системой ext4 больше не применяется буферный слой. "Использование буферного слоя вызывало множество проблем с производительностью и масштабируемостью SMP, которые решены в настоящем релизе", — отмечается в протоколе изменений ядра. В одной из тестовых конфигураций, с 48-ядерной системой и подключенным к ней массивом хранения с интерфейсом SAS из 24 модулей, новая реализация файловой системы ext4 обеспечивает ускорение 192 одновременных потоков FFSB (Flexible File System Benchmark) на 300% со снижением нагрузки на центральные процессоры в три или четыре раза.

Путем целого ряда улучшений оптимизирована также поддержка файловой системы XFS. В протоколе изменений сообщается, что тестирование на 8-процессорной системе, поддерживающей SMP, с использованием теста fs_mark на 50 млн файлов показало увеличение производительности на 15%. Для удаления файлов требуется вполовину меньше времени, чем раньше.

Ядро теперь не поддерживает по крайней мере одну устаревшую технологию SMP — Big Kernel Lock (BKL). Впервые эта технология была реализована в версии ядра 2.0 для улучшения масштабируемости SMP. Для управления одновременно выполняющимися операциями была предусмотрена блокировка (отсюда — название технологии), запрещающая обработку более одного потока в пространстве ядра в каждый конкретный момент времени. В больших системах эта технология приводила, напротив, к замедлению работы. Впоследствии разработчики предложили более тонко настраиваемые технологии блокировок, и необходимость в BKL отпала.

Все эти усовершенствования позволят повысить производительность Linux на SMP-системах. В таких системах многочисленные процессоры объединены в рамках единой разделяемой памяти и управляются одной операционной системой. Традиционно они используются для поддержки крупномасштабных систем ERP и других программных продуктов корпоративного уровня, но архитектура SMP, очевидно, может применяться также в современных серверах и настольных компьютерах на базе двухъядерных и четырехъядерных процессоров.

Наряду с другими усовершенствованиями ядро теперь имеет возможность прерывания ввода и вывода, улучшенную поддержку управления питанием, модернизирован также диспетчер центрального процессора. Это первая версия ядра, которое может выполнять функцию естественного хоста для виртуальных машин на базе Xen, хотя для полноценного использования этой технологии еще предстоит разработать драйверы для доступа с клиентов.

Для повышения безопасности были внесены многочисленные улучшения в Security Enhanced Linux (SELinux), в том числе добавлен интерфейс быстрого обновления статуса.