Совершенно новый для настройки Spark.Я хочу сохранить журналы событий для каждого отдельного искрового кластера, который я запускаю.В моей настройке /history-logs dir монтируется из разных мест на основе имени кластера.Разрешения каталога разрешают чтение и запись для пользователя spark (751).
Файл конфигурации в $SPARK_HOME/conf/spark-defaults.conf для главного и рабочего файлов выглядит следующим образом:
spark.eventLog.enabled true
spark.eventLog.dir file:///history-logs
spark.history.fs.logDirectory file:///history-logs
Я подключаюсь из Zeppelinи запустив простой кусок кода:
val rdd = sc.parallelize(1 to 5)
println(rdd.sum())
Однако в папку не записываются файлы.
Если я настраиваю аналогичные параметры в самом интерпретаторе Цеппеллина, по крайней мере, я вижу, что в каталоге создается файл журнала приложения.
Можно ли сохранить журналы от мастера / рабочих наоснова?Я могу упустить что-то очевидное.
Спасибо!