Что / Где находится рабочий каталог Spark on Yarn по умолчанию?

Question

При работе в автономном режиме рабочим каталогом обычно является $ SPARK_HOME / work.

Однако я понятия не имею, как найти это при работе в режиме пряжи?Может ли кто-нибудь еще найти рабочий каталог для spark или, может быть, приложение, работающее на пряже?

Answer 1

Значение по умолчанию всегда равно $SPARK_HOME/work.

Если вы хотите определенный рабочий каталог, настройте переменную среды SPARK_WORKER_DIR, например, используя conf/spark-env.sh