Исключено задание Spark: /tmp/spark-driver.log не существует

Question

Я выполняю задание Spark в Cloudera Data Science Workbench.Иногда это работает нормально, но иногда это терпит неудачу с этой ошибкой:

log4j:ERROR setFile(null,true) call failed. java.io.FileNotFoundException: /tmp/spark-driver.log (Permission denied) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(FileOutputStream.java:270) at java.io.FileOutputStream.<init>(FileOutputStream.java:213) at java.io.FileOutputStream.<init>(FileOutputStream.java:133) at org.apache.log4j.FileAppender.setFile(FileAppender.java:294) at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:165)

После проверки файлы существуют: cdsw@jw4l5ll7jj0l3bcy:~$ ls /tmp/spark-driver.log /tmp/spark-driver.log

Я уже посмотрелжурнал Spark UI и не может найти другую ошибку.Это единственная ошибка, которую мы нашли.Уже отчаянно нуждаюсь в ответах.Любые выводы будут оценены.

Спасибо!

Answer 1

Ошибка трассировки стека указывает на проблемы с правами доступа для каталога / tmp на ваших компьютерах.Вы можете сослаться на следующий ответ от Михаила Н. Я надеюсь, что это решит ваши проблемы.