Я создал файл среды docker -compose.en для docker -compose следующим образом:
# set environment variables
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
SPARK_HOME=/usr/local/spark
SPARK_HOMEE="/usr/local/spark"
KAFKA_HOME=/usr/local/kafka
PYTHON=/usr/bin/python
JUPYTER_PORT=8888
JUPYTER_DIR=/jupyter_env
PYTHONPATH=SPARK_HOME/python:SPARK_HOME/python/lib/py4j-0.10.7-src.zip:PYTHON
PYSPARK_DRIVER_PYTHON=jupyter
PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --allow-root"
PYSPARK_PYTHON=python
***************** ***** Задача 1 *****************
Я хотел бы добавить переменные в переменную, которая уже существует (внутренняя переменная среды подстановки в docker -compose.env), чтобы он не работал
root@jupyter:~# echo $PYTHONPATH
SPARK_HOME/python:SPARK_HOME/python/lib/py4j-0.10.7-src.zip:PYTHON
, этого не должно быть, должно быть так, чтобы он работал правильно:
/usr/local/spark/python:/usr/local/spark/python/lib/py4j-0.10.7-src.zip:/usr/bin/python
он пробует это с:
PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHON
и с
PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip:${PYTHON}
, но он обрабатывает их, как если бы они были частью ЗНАЧЕНИЯ. так у тебя есть идеи в чем проблемы ??
********************** Проблема 2 ********* ********
root@jupyter:~# echo $PYSPARK_DRIVER_PYTHON_OPTS
`notebook --no-browser --allow-root`
, как вы можете видеть, значение $ PYSPARK_DRIVER_PYTHON_OPTS ограничено `это то, что не должно быть. зная, что я пробовал с:
PYSPARK_DRIVER_PYTHON_OPTS='notebook --no-browser --allow-root'
и с:
PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --allow-root"
, у меня возникла та же проблема. Так, каково решение объявить ее в docker -композиции. ENV файл ??