Длительное приложение для искровой потоковой передачи

Question

У меня есть продолжительное приложение для потоковой передачи искры (режим клиента пряжи, EMR), которое использует данные из Kafka.Я вижу, что через некоторое время приложение перестает работать из-за проблемы «нехватка места» (/ var / log / hadoop-yarn / Containers заполнена)

Кто может помочь с этой проблемой?

Answer 1

По умолчанию агрегаты пряжи регистрируются в hdf только для выполненных работ.Однако, если у вас есть долгосрочное задание в рабочей среде, вы должны настроить агрегирование журналов и для запущенных заданий.

Этого можно добиться, задав соответствующий параметр для этого свойства в yarn-site.xml

yarn.nodemanager.log-aggregation.roll-мониторинг-interval-секунд

https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

Также убедитесь, что вы установили уровень журнала для предупреждения, когда на производстве.