По умолчанию YARN агрегирует журналы после завершения приложения.Но я пытаюсь объединить журналы для работы потоковой передачи искры, которая в теории будет работать вечно.Я установил следующие свойства для агрегирования журналов и перезапуска пряжи, перезапустив hadoop-yarn-nodemanager для узлов ядра и задач и hadoop-yarn-resourcemanager для главного узла в моем кластере emr.Я могу просмотреть свои изменения в http://node -ip: 8088 / conf .
yarn.log-aggregation-enable => true
yarn.log-aggregation.retain-seconds => 172800
yarn.log-aggregation.retain-check-interval-seconds => -1
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds => 3600
Все статьи и ресурсы упоминаются только для включения свойства yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds, и пряжа начнет агрегироватьлоги для запущенных работ.Но это не работает в моем случае.