Я хотел бы запустить два потоковых процесса Spark (Spark 2.2.0), которые записывают в одну и ту же папку в HDFS (т.е. /tmp/myProject).
При записи в HDFS оба приложения Spark будут использовать тот же промежуточный каталог в / temp / myProject Как я понял, использование общей промежуточной папки для двух приложений может вызвать проблемы. Это правильно?
Есть ли какой-либо параметр (в Spark 2.2.0), который я могу использовать, чтобы установить другую промежуточную папку для каждого процесса?
Спасибо, Шэрон