Я отправляю задание (Scala / Java) в кластер Spark, включая следующую опцию в команде spark-submit:
--conf spark.yarn.log-aggregation-enable=true
Я надеюсь, что рабочие журналы будут и останутся доступно из / на мастер с этой опцией, даже когда время работы было коротким, как в моем случае. Тем не менее, когда я yarn logs для моего поданного приложения после его сбоя, я получаю:
Агрегирование журналов не завершено или не включено
Моя отправленная работа последовательно вначале происходит сбой, поэтому я сначала sh хочу просмотреть все рабочие журналы (вывод только из одного spark-submit, кажется, не передает sh все зарегистрированные сообщения перед выдачей трассировка стека ошибки сбоя, отсюда и мотивация).
- Должен ли я сделать или настроить что-либо большее, чем указание этого параметра пряжи в команде submit, чтобы агрегация работала должным образом?
- Есть ли какой-нибудь альтернативный способ для быстрого просмотра полных журналов рабочих, кроме отдельного входа в каждый рабочий и поиска его каталогов журналов?