Я изучил документы на спарк, но я не уверен насчет регистрации. Существует опция SPARK_WORKER_DIR , как говорит Спарк:
Каталог для запуска приложений, который будет включать в себя как журналы, так и
пустое место (по умолчанию: SPARK_HOME / work).
На этом пути (SPARK_HOME / work) я увидел файлы jar, загруженные из файлов spark-submit, stderr и stdout.
Существует также опция SPARK_LOG_DIR , которая находится в папке SPARK_HOME / logs, и я не знаю, в чем разница с этой папкой. Файлы по этому пути являются следующими файлами (на машине slave1):
spark-user-org.apache.spark.deploy.Master-1-master.out
spark-user-org.apache.spark.deploy.Master-1-master.out.1
spark-user-org.apache.spark.deploy.worker-1-slave1.out
spark-user-org.apache.spark.deploy.worker-1-slave1.out.1
spark-user-org.apache.spark.deploy.worker-1-slave1.out.2
...
Итак, мой вопрос:
1) в чем разница между этими двумя вариантами (SPARK_WORKER_DIR и SPARK_LOG_DIR)?
2) Почему в пути SPARK_HOME / logs (out.1, out.2, ...) есть несколько отдельных файлов и откуда эти файлы?