Компания Hortonworks, создатель дистрибутива Hadoop, и исследовательское подразделение компании Hewlett Packard Enterprise осуществляют совместный проект, направленный на кардинальное повышение быстродействия фреймворка распределенной обработки данных Apache Spark.

Проект уже принес первые плоды: усовершенствованный механизм перестановок, ускорение сортировок и вычислений в оперативной памяти, более оптимальное использование доступной памяти и улучшение масштабируемости.

Как сообщили в HP Labs, исследователи переписали на C++ механизм перестановок, изначально реализованный на Java, переработали ряд алгоритмов с расчетом на более эффективное использование памяти и обеспечили возможность использования большей емкости памяти. По словам разработчиков, заказчики, попробовавшие результаты работы HP Labs, отметили повышение скорости выполнения некоторых задач в 5-15 раз.

Все доработки от HP Labs будут выпущены в открытых кодах.

В Hortonworks в свою очередь отметили, что продолжат работать над улучшением быстродействия и функциональности Spark, интеграцией с платформой управления ресурсами Apache YARN, а также реализацией возможности использования с новыми приложениями вроде Apache Zeppelin (проект в инкубаторе Apache, «веб-блокнот» для интерактивного анализа данных).

Несмотря на то, что на предприятиях активно внедряются облачные решения, средства обработки Больших Данных и технологии Интернета вещей, бизнес-руководителей по-прежнему беспокоит безопасность данных в этой среде. 85% участников опроса, проведенного фирмой 451 Research по заказу компании Vormetric, сообщили, что либо намереваются разместить в облачной среде конфиденциальные данные, либо уже сделали это. В прошлом году так ответили только 54% опрошенных. Но при этом 70% указали, что «очень» или «крайне сильно» обеспокоены возможностью взлома системы безопасности провайдера облачного сервиса.

Примерно половина опрошенных планирует разместить конфиденциальные данные в системе обработки Больших Данных (в прошлом году их было 31%), а треть собирается сделать то же с системами Интернета вещей. Но озабоченность проблемами безопасности остается и в этих случаях.

Компании спешат внедрить новые информационные технологии, откладывая решение вопросов безопасности данных на потом, заключают организаторы опроса. Зачастую они придерживаются устаревших подходов, обеспечивающих безопасность периметра сети и конечных точек, в то время как лучшей является стратегия защиты самой информации с помощью шифрования и других методов.

Корпорация Teradata, поставщик решений в области аналитики Больших Данных и маркетинговых приложений, сообщила о подписании соглашения о стратегическом партнерстве с компанией CleverDATA, входящей в группу компаний ЛАНИТ. В связи с подписанием этого соглашения подразделение Teradata Marketing Applications переходит от прямой модели работы в России к работе через посредников, а CleverDATA становится единственным поставщиком решений и услуг для всех существующих заказчиков маркетинговых приложений Teradata. В то же время Teradata совместно со своим партнером компанией «Крок» продолжит обслуживание всех работающих в России клиентов Центра цифрового маркетинга Teradata через ЦОД, открытый в Москве 1 октября 2015 года. Изменения коснулись только направления Marketing Applications. Подразделение Teradata Analytics по-прежнему будет управляться без посредников, локальным представительством корпорации в Москве.

Теперь CleverDATA будет напрямую оказывать клиентам полный спектр услуг и техническую поддержку при работе с приложением — от консультаций, предпродажной подготовки и продажи до сопровождения, технической поддержки и маркетинга. Обслуживать российских клиентов Teradata в области данных и аналитики, как и прежде, будет российское представительство Teradata.

Аналитики компании Enterprise Management Associates опубликовали собранную ими статистику по корпоративным проектам в области Больших Данных. Как отмечают авторы, сегодня данные все шире используются в организациях в процессах принятия решений. В частности, почти 63% участников проведенного EMA опроса сообщили, что стратегии, основанные на данных (data-driven strategies), занимают важное место в их организациях.

Растет число организаций, где проекты в области Больших Данных — на стадии ближайших планов или непосредственного осуществления, а компаний, где такие проекты на начальной стадии, становится меньше. Среди участников опроса, проведенного EMA в 2014 году, 55% сообщили, что стратегия в сфере Больших Данных принята и играет в организации либо «ключевую», либо «важную» роль.

Если в 2013 году у большинства таких организаций были один-два активных проекта в области Больших Данных, то в 2014-м — уже два-три; выросла доля респондентов с четырьмя и более проектами. Одновременно растут и сложности. Больше всего участников, 22%, назвали главным препятствием осуществлению стратегии неэффективное управление данными (в EMA управление данными определяют как «разработку и внедрение архитектур, политик, практик и процедур эффективного управления жизненным циклом информации на предприятии»). На втором месте, 12,7%, — трудности внедрения платформ мультиструктурных данных, обусловленные прежде всего наличием большого числа источников.

Как убедились аналитики EMA, во многих случаях автоматизация помогает справляться с трудностями, обеспечить необходимую координацию и снизить затраты благодаря повышению результативности работы ИТ-персонала. Но в ИТ-службах нередко не справляются с проектами автоматизации. Как показало исследование, одной из главных помех является нехватка соответствующих инструментов. В частности, в 44% организаций либо вообще не имеют средств автоматизации, либо пользуются несовершенными инструментами собственной разработки.

Как отмечают аналитики, в последнее время с ростом применения Больших Данных расширяются соответствующие возможности средств автоматизации рутинных задач — Workload Automation, как самостоятельных, так и интегрированных с другими инструментами автоматизации ИТ- и бизнес-процессов. Встроенные средства планирования задач есть, например в Hadoop, но они сильно уступают специализированным решениям в области WLA, указывают в EMA.

С ростом применения Больших Данных будет расширяться автоматизация инфраструктуры, используемой для сбора огромных объемов информации. В EMA полагают, что предприятиям стоит уделять больше внимания интеграции такой инфраструктуры с корпоративными приложениями и подключению сторонних инструментов, самосовершенствующихся путем обучения на обширной базе пользователей. В качестве быстрого решения задачи автоматизации можно использовать самостоятельно разработанные инструменты, но их трудно развивать собственными силами. К тому же сторонние инструменты нередко рассчитаны не только на решение технических задач ИТ-службы, но и на взаимодействие с бизнесом: в них есть отчеты и информационные панели, доступные для использования сотрудниками нетехнических профессий.

Таким образом, делают вывод в EMA, использование оптимальных инструментов автоматизации позволит ИТ-службе остаться «в водительском кресле» управления стратегией, основанной на данных.

Сайт DataCamp с 2013 года предлагает онлайновое обучение основам обработки и анализа данных на компьютерах. Курсы состоят из серии коротких видеоуроков и практических заданий на закрепление пройденного материала. Все материалы студенты предоставляются через Интернет. DataCamp не выдает официальных дипломов, вместо них студенты получают значки и свидетельства об окончании курсов. Некоторые курсы на DataCamp бесплатны, но к доступ ко всем имеющимся курсам стоит 25 долл. в месяц, или 250 долл. в год.

На прошлой неделе DataCamp объявила о получении финансирования еще на один миллион долларов (объем начального финансирования теперь составляет 2,3 млн долл.) и о реализации новых возможностей для корпоративных пользователей. Если до сих пор студенты могли проходить обучение только индивидуально, то теперь на сайте можно создавать группы учащихся. Сведения об изучении материалов и выполнении заданий отображаются в единой таблице. Через обучение на сайте DataCamp прошло уже около 300 тыс. человек, и преподаватели чаще всего интересовались именно возможностями работы с группами учеников, поясняют в компании.

Аналитики консалтинговой группы Pierre Audoin Consulting подготовили прогноз преобразований, через которые ИТ-службам ИТ предстоит пройти в ближайшие несколько лет.

Десятка главных областей приложения усилий этого года по версии PAC выглядит так: цифровизация, облачные вычисления, «двухскоростные», или бимодальные ИТ, Индустрия 4.0/Интернет вещей, Большие Данные и аналитика, привлечение сторонних ресурсов/управление навыками/офшоринг, стандартизация/автоматизация/оптимизация, скорая (agile) разработка и DevOps, управление экосистемой поставщиков, безопасность.

Как считают в PAC, в 2016 году отделы ИТ начнут воспринимать всерьез тенденцию цифровой трансформации, при этом новейшим технологиям начнут уделять внимания меньше, более фокусируясь на внедрении и консолидации ряда тенденций из прошлых лет. «Оцифровка», в частности, будет строиться на двух связанных концепциях — «клиентский опыт» (customer experience) и Интернет вещей.

Значение самих ИТ будет расти, но значимость ИТ-службы может уменьшаться, — она может терять контроль над закупками и планированием в связи с переходом предприятия на облачные и «теневые» ИТ. В будущем деятельность ИТ-службы может разделиться на два направления: первое — предоставление внутреннему заказчику уже имеющихся ИТ-сервисов и обслуживание унаследованных систем, второе — выполнение роли центра ИТ-инновации для бизнеса.

Стандартизация и консолидация ландшафта ИТ требуют перехода на облачные модели (SaaS, PaaS и IaaS). ИТ-службе надо стать проводником автоматизации и внедрения когнитивных интеллектуальных систем и одновременно заниматься оптимизацией ИТ-операций.

Справиться с этим непросто, особенно если дать слишком высокий приоритет унаследованному направлению. Движущей силой инновации могут стать специализированные отделы, преимущественно полагающиеся на SaaS-решения. Но современные приложения для взаимодействия с заказчиками будут отвечать их ожиданиям только при условии оптимальной интеграции с внутренними системами, причем соответствующие процессы (например, логистику и бухучет) придется переработать. Соединять различные элементы проще всего будет с помощью интерфейсов программирования, отвечающих принципу REST.

В некоторых случаях из ИТ-служб выделяются «команды инновации» для продвижения перспективных проектов. Такая команда разрабатывает новые приложения и системы совместно с внешними сервис-провайдерами и впоследствии внедряет в основные процессы. Для успешной работы таких команд понадобятся ученые по данным и бизнес-аналитики.

На сегодня имеет место высокая готовность компаний вкладываться в ПО и облачные сервисы, позволяющие с использованием механизмов машинного обучения и когнитивной аналитики налаживать контакт с заказчиком, рекомендуя ему действия, скидки, варианты выбора. В этой связи получают развитие концепции «управления взаимодействием с клиентомцифровая» (customer experience management), «пути клиента» (customer journey), «эмоциональных CRM-систем» (emphatic CRM) и др.

Новым фактором конкурентоспособности становятся инновационные методы управления персоналом: из-за нехватки специалистов с современными наборами навыков во многих компаниях пользуются средствами социального взаимодействия, веб-приложениями, мобильными технологиями и аналитическими инструментами для повышения квалификации собственных служащих.

В период с 2016-го по 2020 год в число важнейших задач в компаниях войдет реформирование управления инфраструктурой и приложениями в связи с переходом от собственных ЦОД на облачные вычисления.

Сегодня появляются новые бизнес-модели и стратегии, основанные на данных; аналитика будет все шире применяться в приложениях, — в основном для выдачи прогнозов в контексте различных процессов.

Еще одним новшеством стало появление платформ Интернета вещей, моста между оснащенными датчиками оконечными устройствами и классическими корпоративными ИТ. В 2016 году можно ожидать появления большего числа специализированных отраслевых проектов на основе таких платформ. Более долгосрочная тенденция — переход на «Интернет вещей с самообслуживанием», когда появится возможность быстро и просто разрабатывать, тестировать и внедрять новые бизнес-идеи, основанные на Интернете вещей, силами бизнес-подразделений. В этом году уже появятся провайдеры, работающие в этой области.

В сфере Интернета вещей приобретут большее значение искусственные интеллект, открытый код и кибербезопасность. Что касается последней, если в прошлом речь шла только о защите инфраструктуры, то теперь нужен более комплексный подход, включающий в себя защиту данных, руководство и создание операционных центров безопасности. В прогнозировании будущих угроз будет помогать анализ Больших Данных.

Для реализации сбалансированной стратегии в области ИТ (sustainable IT strategy) необходимы подвижность, адаптивность, гибкость, быстрота реакции, масштабируемость, скорость, простота, безопасность и эффективность. В краткосрочной перспективе такая стратегия поможет создать пространство для инновации, в долгосрочной — объединить существующие системы с новыми цифровыми платформами и процессами. Задача разработки такой стратегии лежит на ИТ-директоре.

Agile-методы, например, Scrum, обещают будущим проектам разработки ощутимые преимущества по сравнению с прежними подходами с точки зрения скорости и качества. В то же время все большее значение приобретает принцип DevOps. То и другое нужно для повышения темпов и эффективности разработки, однако для достижения этой цели понадобятся серьезные, требующие несколько лет, изменения в принципах работы и навыках специалистов ИТ-служб.

В компании Databricks объявили о выходе бета-версии Databricks Community Edition, бесплатной редакции облачной платформы, упрощающей работу с кластерной системой аналитической обработки данных Apache Spark.

Как объясняют в Databricks, бесплатный вариант оптимален для разработчиков, ученых и специалистов по данным, а также для любых ИТ-специалистов, желающих освоить Spark. В состав Databricks Comminity Edition входят учебные ресурсы по Spark, в том числе массовый открытый онлайн-курс «Введение в работу с Большими Данными в Spark». В компании собираются продолжать разрабатывать учебные пособия и предоставлять доступ к ним в рамках бесплатной редакции платформы.

По словам Бена Хоровитца, сооснователя венчурного фонда Andreessen Horowitz, который финансирует Databricks, до появления Community Edition приходилось платить тысячи долларов в месяц, чтобы обучиться аналитическим навыкам, а теперь благодаря выходу бесплатной редакции платформы с доступом к массовому открытому онлайн-курсу по Spark желающие смогут овладеть навыками ученого по данным совершенно бесплатно.

Подразделение IBM Watson Health объявило о планах по приобретению компании Truven Health Analytics, облачного провайдера медицинских данных и аналитики, за 2,6 млрд долл. Услугами Truven пользуются более 8500 организаций, включая федеральные и региональные правительственные учреждения США. Интеграция позволит объединить на платформе IBM Watson Health Cloud работодателей и программы медицинского страхования, больницы и медицинский персонал, а также биотехнологические компании, говорится в сообщении компании.

По завершении сделки облачная платформа для здравоохранения IBM станет одним из крупнейших хранилищ информации о здравоохранении, представляющей совокупность данных о жизни около 300 млн пациентов и полученной от ранее приобретенных трех компаний - Truven, Explorys и Phytel. В IBM планируют интегрировать в свою платформу массив облачных данных Truven, который охватывает информацию о сотне различных типов медицинских затрат и отчетов, качестве обслуживания и результатах лечения.

С помощью облачной платформы Watson Health Cloud медицинские организации смогут воспользоваться прежде разрозненными наборами данных, среди которых огромный объем неструктурированной информации, и объединить их для получения полной картины факторов для принятия правильных и обоснованных решений в области здравоохранения.

После завершения сделки корпорация собирается инвестировать более 4 млрд долл. в развитие аналитических технологий в медицинской сфере. Они позволят профессионалам повысить эффективность лечения заболеваний, контролировать издержки и разрабатывать решения с акцентом на качество предоставляемых медицинских услуг, сообщили в IBM.