Я пытаюсь настроить единую конфигурацию главного / подчиненного кластера для has oop -2.7.2. Настройка работает, и я могу запустить на ней тест MapReduce. Цель состоит в том, чтобы запустить несколько тестов и зафиксировать производительность и / или тесты.
Проблема в том, что один из скриптов зависит от файла jhist, созданного HistoryServer. Несмотря на то, что HistoryServer запущен, файлы jhist не создаются в /tmp/hadoop-yarn/
.
Главный сервер имел oop, а подчиненный сервер имел oop, chrootted и имеют s sh доступ друг к другу. Мой mapred-site. xml для соответствующей части -
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-master:10020</value>
<description>Enter your JobHistoryServer hostname.</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-master:19888</value>
<description>Enter your JobHistoryServer hostname.</description>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/tmp/hadoop-yarn/staging/history/done_intermediate</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/tmp/hadoop-yarn/staging/history/done</value>
</property>
Я не знаю, внутри и снаружи has oop, так как моя цель - использовать has oop для анализа производительности и найдите узкое место.