Многие из наших приложений Spark, работающих в кластерном режиме, имеют сбои из-за ошибок драйвера. Я установил сервер истории искр, который читает из spark.eventLog.dir , все работает нормально, сервер истории может восстановить пользовательские интерфейсы приложений, но журналы драйверов не могут быть найдены.
Также я проверяю список приложений, перечисленных в spark.eventLog.dir , но все запускается с приложением - ****, я не смог найти драйвер- * *****.
Как настроить журналы драйверов для отправки на spark.eventLog.dir ?