Как очистить историю приложений в пряже hadoop?

Question

После того, как аппликации завершены на пряже, в пряже будет показана большая история заявок.

И в веб-интерфейсе http://localhost:8088/cluster, и в командной строке yarn application -list -appStates FINISHED

Как я могу очистить эту историю? Или где пряжа хранит эту историю?

Перезагрузите RM, NM не очищает эту историю.

Удалить журналы в локальной файловой системе $ {YARN_LOG_DIR} / userlogs не очищает эту историю.

Удалить каталог / файлы журналов в hdfs: /// tmp / logs / username / logs не очищает эту историю.

Версия Hadoop: 2.7.7

Answer 1

Если вы включили агрегирование журналов, вы можете установить для yarn.log-aggregation.retain-seconds разумное значение (например, день или неделю, в зависимости от количества выполняемых вами заданий), чтобы задания очистки YARN выполнялись на постоянной основе.

В противном случае установите yarn.nodemanager.log.retain-seconds, чтобы определить, как долго вы хотите хранить журналы.

Вы также можете отключить сохранение при перезапуске, установив yarn.resourcemanager.recovery.enabled в false в вашем yarn-site.xml.

См. yarn-default.xml для всех настраиваемых журналов в YARN и Перезапуск ResourceManager для получения дополнительной информации о постоянстве.

Answer 2

О, я нашел решение.

yarn resourcemanager -format-state-store

и перезапустите кластер.

Но все еще не знаете, где хранятся эти истории в ЗК?