Apache Software Foundation выпускает Hadoop 2 — с YARN вместо MapReduce

10:05 17.10.2013

|   674 прочтения



Одной из главных особенностей второй версии, разрабатывавшейся больше четырех лет, стала возможность параллельного исполнения большого числа приложений.

Ассоциация Apache Software Foundation выпустила новый масштабный релиз платформы распределенной обработки данных Hadoop. Одной из главных особенностей второй версии, разрабатывавшейся больше четырех лет, стала возможность параллельного исполнения большого числа приложений. Система получила ряд новых компонентов, главный из которых — YARN (Yet Another Resource Navigator), наследник MapReduce. В новой версии Hadoop основные функции распределены между двумя фоновыми процессами («демонами»), один из которых отвечает за управление ресурсами, другой — за планирование и мониторинг выполнения задач.

YARN работает поверх HDFS, выполняя роль крупномасштабной распределенной операционной системы для приложений обработки Больших Данных. Hadoop 2 и YARN позволяют комбинировать пакетные, интерактивные и исполняемые в реальном времени рабочие задачи, сообщают в Apache.

YARN, которую в Apache также называют MapReduce 2.0, совместима на уровне API с предыдущей версией, благодаря чему приложения, написанные для MapReduce, смогут работать с YARN после перекомпиляции.

Hadoop 2 сопровождается лицензией Apache License v2.0.


Теги: Программное обеспечение