Запуск задания SPARK с локальным Python - PullRequest
Новая
       52

Запуск задания SPARK с локальным Python

0 голосов
/ 12 октября 2018

Я отправляю задание spark следующим образом: 

spark-submit --conf spark.ui.port=5051 server_code.py

Мой питон настроен на python для моих домашних пользователей: 

export PYSPARK_PYTHON="$HOME/software/anaconda3/bin/python3.7"

Однако, когда я запускаю spark таким образом, он не может получить доступэтот питон так жалуется.Есть ли способ обойти это?Я могу запускать спарк-задания с указанными выше конфигурациями, когда в задании нет веб-интерфейса.В случае выше, я раздаю веб-интерфейс с результатами.

java.io.IOException: Cannot run program "/x/software/anaconda3/bin/python3.7": error=13, Permission denied

1 Ответ

0 голосов
/ 15 октября 2018

Я решил свою проблему, предоставив разрешения на доступ к папкам из домашнего каталога.имя chmod 777 вплоть до chmod 777 до самого скрипта python

...