Моя программа содержит довольно много jar-файлов, которые копируются в рабочий каталог для каждого исполнителя приложения. Эти каталоги расположены в $ SPARK_HOME / work. Эти каталоги содержат библиотеки и журналы программы (stdout и stderr). Обратите внимание, что я не говорю о каталогах spark tmp, поскольку они являются чем-то другим.
Поскольку эти каталоги могут стать достаточно большими, я хочу удалить эти каталоги, как только моя программа будет готова. Один из способов, очевидно, состоит в том, чтобы написать какой-нибудь скрипт для этого самостоятельно, но есть ли способ, которым я могу дать команду Spark, чтобы сделать это для меня, то есть удалить их, как только программа будет завершена?