Статья подготовлена Computerworld Россия совместно с Intel IT Center

Однако обработка огромных объемов информации требует эффективных средств и новых инструментов — нужны реальные примеры использования аналитики больших данных, демонстрирующие преимущества оценки всех имеющихся сведений. Кроме этого неизбежно потребуется модернизации ЦОД путем применения облачных технологий и программно определяемых инфраструктур, позволяющих оптимально справляться с большими нагрузками и объемами данных, масштабируя конфигурацию по мере необходимости и интегрируя средства аналитики больших данных в программно-аппаратную инфраструктуру ЦОД.

Для работы с большими данными требуются новые программные инструменты: СУБД со встроенными средствами аналитики, поддерживающие работу с традиционными OLTP реляционными СУБД; специализированные решения для бизнеса, обязательно включающие в себя средства для работы с большими данными; решения Hadoop, ставшие центром интеграции инфраструктуры бизнес-аналитики, причем значительное развитие и все новые возможности получают встроенные функции бизнес-аналитики.

Для получения всех преимуществ от выполнения анализа больших данных корпорация Intel предлагает ряд решений на базе специальных микросхем и универсальных серверов, построенных с соблюдением отраслевых стандартов и интегрированных с платформой Apache Hadoop. Однако прежде всего следует определить цели анализа, оценить имеющиеся возможности, обозначить требования и выявить технические потребности. Если для работы с Большими Данными применяется уже существующая конфигурация, при помощи технологий Intel можно расширить ее возможности, упростить процессы интеграции и заложить фундамент для быстрого роста. Вдвое ускорить аналитическую обработку больших данных можно путем модернизации процессоров до Intel Xeon E5, замены традиционных жестких дисков на флеш-массивы семейства Intel SSD 520 и усовершенствования сети за счет применения Intel 10 Gigabit Converged Network Adapter. Семейство универсальных процессоров Intel Xeon E5-2600 v3 позволяет безболезненно масштабировать конфигурацию, увеличить быстродействие, снизить задержки, повысить производительность операций ввода/вывода и увеличить эффективность всей системы. Все это стало возможным благодаря увеличению количества ядер, объема кэш-памяти и усовершенствования средств работы с оперативной памятью.

Посредством аппаратных решений Intel создается сбалансированная инфраструктура кластера Apache Hadoop, построенного на базе пакета Intel Distribution for Apache Hadoop Software, позволяющего средствами менеджера Intel Manager for Apache Hadoop на 40% повысить быстродействие системы при загрузке Больших Данных (по сравнению со стандартным дистрибутивом Apache Hadoop). Кроме того, для построения систем анализа больших данных корпорация предоставляет рекомендации по тюнингу конфигурации, соответствующей конкретным условиям. Например, число соединений TCP/IP для работы с файловой системой HDFS и движком MapReduce может быть увеличено до 3,240,000, что позволяет уменьшить задержки и ускорить операции обработки больших данных.

Однако для создания и эксплуатации системы анализа Больших Данных важно не только модернизировать ЦОД на базе процессоров Intel Xeon, серверных адаптеров Intel 10 Gigabit, флеш-массивов Intel и пакета Intel Distribution for Apache Hadoop Software — не меньшее значение имеет создание экосистемы больших данных, предполагающей инвестиции в повышение квалификации аналитиков, привлечение отраслевых специалистов, проведение тестирования и настройки конфигураций, создание среды обмена опытом. Сегодня корпорация Intel активно участвует в создании такой экосистемы, позволяющей полнее использовать ее собственные решения и продукты партнеров, чтобы мощные расширенные средства аналитики больших данных непременно открыли перед информационным обществом новые возможности и позволили обнаружить новые направления развития на основе изучения скрытых пока взаимосвязей.

Статья подготовлена Computerworld Россия совместно с Intel IT Center

Интернет вещей объединяет самые разнообразные устройства и системы — от бытовых приборов до глобальных интеллектуальных энергетических сетей. Например, с помощью инструмента Intel Audience Impression Metrics Suite в сети кофеен Costa Coffee выполняется сбор данных и анализ в реальном времени потребительских запросов, позволяющих в зависимости от демографического состава контингента посетителей конкретного заведения и особенностей местных вкусовых предпочтений даже гурманам предлагать приемлемые для них варианты приготовления и оформления напитка.

Вместе с компанией Pecan Street специалисты Intel тестируют сегодня технологии, позволяющие потребителям выбирать оптимальные режимы использования электроэнергии в своих домохозяйствах. Как наилучшим образом разместить солнечные панели на рядом стоящих домах, чтобы обеспечить наилучшие показатели энергосети? Что произойдет с сетью, когда треть соседей начнет одновременно заряжать свои электромобили? Эти и другие вопросы сегодня уже не кажутся фантастическими — в Остине (штат Техас) на базе технологий Intelреализуется комплексный масштабный проект Pecan Street. В него вовлечены сотни домохозяйств, школ, офисов, множество эксплуатируемых в этом регионе электромобилей и один из крупнейших в мире суперкомпьютеров, размещенный в Texas Advanced Computing Center университета штата. Техас. Датчики измеряют энергопотребление и затем отправляют результаты телеметрии в TACC, серверы которого, созданные на базе процессоров Intel, анализируют огромные потоки данных, формируют графики разумного потребления электроэнергии и визуализируют полученную информацию, помогая оптимизировать процессы распределения и экономичного расходования ресурсов.

Успешное продвижение IoT зависит от решения проблем развертывания высокопроизводительных каналов связи и использования разнообразных форматов данных в условиях отсутствия единого стандарта обменов между устройствами. Корпорация Intel разработала семейство шлюзовых решений Intel IoT Gateway, которые позволяют подключать новые и уже существующие устройства, интегрируя технологии для обеспечения сетевого взаимодействия и управляя встраиваемыми системами. Интеллектуальные шлюзы собирают данные с датчиков на границе сети и фильтруют их, анализируя и нормализуя для передачи в облако. В комплект входят аппаратные и программные строительные блоки компаний Intel, McAfee (защита шлюза за счет динамического мониторинга и управления белыми списками) и Wind River (среда разработки Wind River Intelligent Device Platform XT, а также инструмент Wind River Workbench, интегрированный с решением для управления жизненным циклом систем Wind River Edge Management System).

Для построения экосистемы Интернета вещей корпорация предлагает платформу Intel IoT Platform, представляющую собой базовую модель и набор продуктов для развертывания инфраструктуры IoT. Платформа содержит средства для подключения устройств, сбора данных, управления сервисами и инструментарий Intel Mashery. Для визуализации и монетизации больших потоков данных, обрабатываемых с помощью Intel IoT Platform, у Intel имеются средства облачной аналитики. Они созданы на основе инструментария IoT Developer Kits, который интегрирован с платами Intel Galileo и Intel Edison Modules, используемыми, в частности, в носимых устройствах. За безопасность передачи данных в режиме точка-точка отвечает технология Enhanced Privacy Identity, принятая на вооружение многими поставщиками полупроводниковых изделий и обеспечивающая, подключение в защищенном режиме устройств к платформе Intel IoT Platform.

Корпорация Intel анонсировала планы сотрудничества и альянсы с компаниями Accenture, Booz Allen Hamilton, Capgemini, Dell, HCL, NTT DATA, SAP, Tata Consultancy Services, Wipro и рядом других производителей, использующих Intel IoT Platform, что позволит обеспечить совместимость и тиражируемость решений, предназначенных для инфраструктуры Интернета вещей.