Spark: Как изменить выходной каталог локальной SparkSession?

Question

У меня есть следующее SparkSession, которое я использую для тестирования:

  SparkSession.builder().master("local").getOrCreate()

Каждый раз, когда я запускаю, например, модульный тест, который записывает данные, например, df.write.csv("foobar"), выходной каталог будет находиться на верхнем уровне моего проекта. Я знаю, что могу изменить аргумент пути к автору записи, но меня особенно интересует глобальное изменение корневого каталога (как для чтения, так и для записи) без необходимости указывать его вне конфигурации.

Answer 1

После долгих отладок я понял это. Все, что требуется, это установить user.dir системное свойство. Например: System.setProperty("user.dir", "/tmp"), и все ваши локальные таблицы и выходные файлы будут сохранены в /tmp.