Как решить Агрегирование журналов не завершено или не включена ошибка в журналах YARN - PullRequest
Новая
       101

Как решить Агрегирование журналов не завершено или не включена ошибка в журналах YARN

0 голосов
/ 08 июня 2018

Я использую EMR 5.4 и отправляю искровое задание в Yarn

Когда я пытаюсь получить журнал с yarn logs -applicationId application_1528461193301_0001, у меня появляется следующая ошибка: 

18/06/08 12:38:01 INFO client.RMProxy: Connecting to ResourceManager at ip-10-0-182-144.eu-west-1.compute.internal/10.0.182.144:8032
s3://xxx/apps/root/logs/application_1528461193301_0001 does not exist.
Log aggregation has not completed or is not enabled.

Здесьмой конфиг /etc/hadoop/conf/yarn-site.xml

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <property>
    <description>Where to store container logs.</description>
    <name>yarn.nodemanager.log-dirs</name>
    <value>s3://xxx/containers</value>
  </property>

  <property>
    <description>Where to aggregate logs to.</description>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>s3://xxx/apps</value>
  </property>

1 Ответ

0 голосов
/ 19 февраля 2019

В соответствии с документацией утилита журналов пряжи не может использоваться, если журналы агрегированы в s3

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html

Примечание

В настоящее время нельзя использовать агрегацию журналовв Amazon S3 с помощью утилиты журналов пряжи.

вы можете загружать файлы журналов с помощью утилиты aws 

aws s3 cp s3://xxx/apps/[applicationId] /your/folder --recursive
...