Кластер Hadoop с выпуском 0.23 (MRv2 или NextGen MR)

Question

Как я вижу, последняя стабильная версия hadoop - 0.20.x. И последний выпуск - 0.23. . Кажется, есть много изменений от .20. до 0.23.x.

Мы можем установить небольшой кластер со стабильным реле (0.20.2) и практическим программированием mapreduce.

Мы видели много новых API, добавленных в 0.23.x. Чтобы изучить 0.23.x, нам нужно настроить кластер также с выпуском 0.23.x.

Не могли бы вы, ребята, указать нам документацию, в которой мы можем настроить кластер с выпуском 0.23.x.

кажется, что 0.23.x совершенно отличается от 0.20.x, когда я распаковываю tar-файл. Пожалуйста, дайте нам некоторую книжную ссылку / документацию, где указана настройка кластера с самого начала.

Спасибо MRK

Answer 1

Основное различие между выпуском 0.23 и выпуском до 0.23 состоит в том, что в 0.23 управление ресурсами и управление жизненным циклом приложения были разделены. До 0.23 разрешалось запускать только приложения MapReduce, но 0.23 разрешало другие приложения, кроме MapReduce. Hama, Giraph и некоторые другие приложения уже были портированы, и процесс переноса MPI продолжается.

Мы видели много новых API, добавленных в 0.23.x. Чтобы изучить 0.23.x, нам нужно настроить кластер также с выпуском 0.23.x.

В пользовательском API не было никаких различий, поэтому существующие приложения должны работать без каких-либо изменений кода, но требуются изменения файла конфигурации. Версия 0.23 обратно совместима с точки зрения API.

Вот сводный список архитектуры MRv2, видео, статей и т. Д. Я буду стараться обновлять их по мере поступления новой информации.

http://www.thecloudavenue.com/p/mrv2resources.html

Answer 2

Это официальная документация по настройке кластера в r0.23.0:

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/ClusterSetup.html