Jupyter - ключ не найден: _PYSPARK_DRIVER_CALLBACK_HOST - PullRequest
Новая
       17

Jupyter - ключ не найден: _PYSPARK_DRIVER_CALLBACK_HOST

0 голосов
/ 24 июня 2019

Получая то же сообщение об ошибке при настройке ноутбука Jupyter, кто-нибудь пробовал использовать Spark2 на CDH Env: CDH 5.15, Spark 2.3 

{
 "display_name": "PySpark/Python3 (Anaconda)",
 "language": "python",
 "argv": [
  "/usr/bin/python3.6",
  "-m",
  "ipykernel",
  "-f",
  "{connection_file}"
 ],
 "env": {
  "HADOOP_CONF_DIR":"/etc/hadoop/conf",
  "PYSPARK_PYTHON":"/usr/bin/python3.6",
  "PYSPARK_DRIVER_PYTHON":"jupyter",
  "SPARK_HOME": "/opt/cloudera/parcels/CDH/lib/spark",
  "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"/usr/bin/python3.6",
  "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"/usr/bin/python3.6",
  "PYTHONPATH": "/opt/cloudera/parcels/CDH/lib/spark:/opt/cloudera/parcels/SPARK2/lib/spark2/jars/py4j-0.10.7.jar"
 }
}
...