Hadoop (под руководством Spark) пытается создать временную папку в корне / вместо того, чтобы использовать местоположение для временной папки, уже установленной - PullRequest
Новая
       9

Hadoop (под руководством Spark) пытается создать временную папку в корне / вместо того, чтобы использовать местоположение для временной папки, уже установленной

0 голосов
/ 24 мая 2019

Используя Spark 2.4.3 (модули ядра и sql), использующие Hadoop 1.6.5, я сталкиваюсь с этой проблемой после многих операций.

Функция hadoop, org.apache.hadoop.fs.ChecksumFileSystem.create, завершается с этим сообщением:
Mkdirs не удалось создать файл: / tmp544842234 / временный /...

Я думаю, что в какой-то момент я хочу сбросить содержимое Dataset в файл CSV, но я не совсем уверен.

Полагаю, это потому, что /tmp544842234 не разрешено расположение на диске. Это скорее должно быть /custom/path/to/tmp/tmp544842234.
Но я так присмотрел свои Spark свойства, и мне интересно, чего мне не хватает: 

hadoop.tmp.dir=/custom/path/to/tmp 
spark.local.dir=/custom/path/to/tmp 
java.io.tmpdir=/custom/path/to/tmp 
spark.executor.extraJavaOptions=-Djava.io.tmpdir=/custom/path/to/tmp 
spark.driver.extraJavaOptions=-Djava.io.tmpdir=/custom/path/to/tmp
...