Как сохранить историю Spark Worker и Master Node, такую как завершенные приложения, завершенные драйверы в кластере.Когда происходит перезапуск, все эти истории теряются.Существует ли какая-либо конкретная конфигурация, позволяющая поддерживать историю.
Включен журнал событий искры в spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir file:////app/spark/logs/data/event_log_dir
Но все еще не удается сохранить историю