Задача MapReduce выполняется, но файлы jhist не создаются - PullRequest
1 голос
/ 27 мая 2020

Я пытаюсь настроить единую конфигурацию главного / подчиненного кластера для has oop -2.7.2. Настройка работает, и я могу запустить на ней тест MapReduce. Цель состоит в том, чтобы запустить несколько тестов и зафиксировать производительность и / или тесты.

Проблема в том, что один из скриптов зависит от файла jhist, созданного HistoryServer. Несмотря на то, что HistoryServer запущен, файлы jhist не создаются в /tmp/hadoop-yarn/.

Главный сервер имел oop, а подчиненный сервер имел oop, chrootted и имеют s sh доступ друг к другу. Мой mapred-site. xml для соответствующей части -

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-master:10020</value>
    <description>Enter your JobHistoryServer hostname.</description>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-master:19888</value>
    <description>Enter your JobHistoryServer hostname.</description>
</property>

<property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/tmp/hadoop-yarn/staging/history/done_intermediate</value>
</property>

<property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/tmp/hadoop-yarn/staging/history/done</value>
</property>

Я не знаю, внутри и снаружи has oop, так как моя цель - использовать has oop для анализа производительности и найдите узкое место.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...