Как установить порт для ноутбука pyspark jupyter? - PullRequest
Новая
       34

Как установить порт для ноутбука pyspark jupyter?

0 голосов
/ 13 декабря 2018

Я запускаю блокнот pyspark jupyter со скриптом: 

#!/bin/bash
ipaddres=...
echo "Start notebook server at IP address $ipaddress"

function snotebook ()
{
#Spark path (based on your computer)
SPARK_PATH=/home/.../software/spark-2.3.1-bin-hadoop2.7

export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

# For python 3 users, you have to add the line below or you will get an error
export PYSPARK_PYTHON=python3

$SPARK_PATH/bin/pyspark --master local[10]
}

snotebook --no-browser --ip $ipaddress --certfile=/home/.../local/mycert.pem --keyfile /home/.../local/mykey.key

Интересно, как настроить порт.Есть ли переменная окружения, которую я могу установить?Я хотел бы определить порт до запуска ноутбука.Я пытался --port 7999.

1 Ответ

0 голосов
/ 13 декабря 2018

Если вы имеете в виду порты Spark UI, в spark-env.sh он перечисляет эти две переменные среды, которые вы можете перезаписать или установить в этом файле 

# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker

Я не уверен, что значения Jupyter илиесли PySpark даже пропускает их, но если jupyter notebook --port работает сам по себе, то я бы попробовал 

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --port=7999"

Если вы хотите передать весь аргумент из snotebook в переменную, тогда вам нужно 

export PYSPARK_DRIVER_PYTHON_OPTS="notebook $@"
...