/app-logs/ourUser/logs-ifile не очищается с помощью YARN , существует много, теперь 5668816 лог-файлов (!), Включая файлы за 2 года.
Наши Scala Исходные коды Spark используют log4h API :
import org.apache.log4j._
val log: Logger = Logger.getLogger(Execute.getClass)
log.info("mensagem")
Мы предполагали, что журналы такого типа удаляются YARN за 10 дней (наш yarn.log обозначен, а yarn.nodemanager.log.retain-seconds установлен на 10 * 24 * 60 * 60 секунд).