Как мне запустить pyspark с опциями Jupyter?

Question

Я пытаюсь запустить pyspark с Jupyter Lab параметрами (встроенными) следующим образом.

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444" $SPARK_HOME/bin/pyspark

Этот подход основан на официальной документации . Однако при выполнении команды каталог notebooks подается из /root, а порт по-прежнему 8888.

Я также обернул выполнение в файл .sh (shell), как следует .

#!/bin/bash

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444"

pyspark "$@"

Но эта попытка переопределить каталог и порт ноутбука также делаетне работа. Я проверил, чтобы убедиться, что /root/.jupyter/jupyter_notebook_config.py не существует.

Есть идеи, что здесь не так?

Answer 1

Неважно, я следовал этому сообщению и имел hard-coded переменных окружения в spark-env.sh. После удаления этих переменных все работает.