Невозможно запустить искру на моей машине (Ubuntu 18.04)

Question

Я получаю эту ошибку:

[FATAL tini (9)] exec /usr/local/spark-2.3.1-bin-hadoop2.7/bin/pyspark failed: No such file or directory

При выполнении следующей команды в терминале:

docker run -it --rm -p 4040:4040 \
jupyter/pyspark-notebook \
/usr/local/spark-2.3.1-bin-hadoop2.7/bin/pyspark

Answer 1

Все, что вам нужно сделать, - это вручную войти в ваш док-контейнер с помощью оболочки и проверить пути.Чтобы сделать это, вы должны:

docker run -it --rm jupyter/pyspark-notebook sh

и затем использовать ls для циклического перемещения по дереву каталогов.

На самом деле, текущая версия из jupyter/pyspark-notebook, используетсяв вашем докере используется spark-2.4.0-bin-hadoop2.7 (несоответствие версий уведомления), поэтому ваш ответ:

Использовать

docker run -it --rm -p 4040:4040 jupyter/pyspark-notebook /usr/local/spark-2.4.0-bin-hadoop2.7/bin/pyspark