Я понял, что бинарный дистрибутив giraph-dist-1.2.0-hadoop2-bin.tar.gz создается с помощью следующей команды maven и официально поддерживается с помощью hadoop-2.5.1.
"mvn -Phadoop_2 clean install"
Я успешно использовал giraph-dist-1.2.0-hadoop2-bin.tar.gz в псевдораспределенном режиме на hadoop-2.5.1, в котором я настроил пряжу.
Теперь я скачал giraph-dist-1.2.0-hadoop2-src.tar.gz и успешно создал гираф с поддержкой пряжи, используя команды и патчи, взятые из Сборка Giraph с Hadoop , то есть:
"mvn -Phadoop_yarn -Dhadoop.version = 2.5.1 чистый пакет -DskipTests"
Поскольку я уже настроил пряжу в Hadoop 2.5.1, я не понял, нужно ли и что я должен изменить в конфигурации Hadoop 2.5.1 для mapred-site.xml и yarn-site.xml, чтобы использовать giraph с поддержка пряжи?
Я думаю, что главный вопрос: что это меняет в использовании Hadoop для giraph, созданного с -Phadoop_2, и giraph, созданного с -Phadoop_yarn?
Единственная найденная мною документация:
Apache Hadoop 2 (последняя версия: 2.5.1)
Это последняя версия Hadoop 2 (поддерживающая YARN в дополнение к MapReduce), которую может использовать Giraph. Вы можете сказать Maven использовать эту версию
с "mvn -Phadoop_2".