Hadoop: журналы недоступны для контейнера - PullRequest
Новая
       6

Hadoop: журналы недоступны для контейнера

0 голосов
/ 04 ноября 2018

Я изучаю Hadoop, теперь я сталкиваюсь с проблемой при установке одного узла. Я хочу видеть JobHistory на веб-странице, но после того, как я нажму logs , я вижу только "Нет доступных журналов для контейнера container_1541377958924_0001_01_000001" , я не знаю, как решить это.

это мои конфигурации:

mapred-size.xml 

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop000:10020</value>
    <description>MapReduce JobHistory Server IPC host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop000:19888</value>
    <description>MapReduce JobHistory Server Web UI host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
</property>

пряжа site.xml 

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>


<property>
    <name>yarn.log.server.url</name>
    <value>hadoop000:19888/jobhistory/logs/</value>
</property>

прости мой плохой английский, спасибо!

1 Ответ

0 голосов
/ 06 ноября 2018

Чтобы увидеть в WebApp журналы заданий Hadoop, необходимо дополнительно запустить демон JobHistory, чтобы включить журналы агрегации.

Попытка:

$ ./sbin/mr-jobhistory-daemon.sh # OR mr-job-history-daemon.sh $ stop-yarn.sh && start-yarn.sh

...