Интеграция JupyterHub и PySpark - ошибка процесса шлюза Java - PullRequest
Новая
       29

Интеграция JupyterHub и PySpark - ошибка процесса шлюза Java

0 голосов
/ 07 января 2019

Я пытаюсь интегрировать JupyterHub и PySpark. Для этого я установил JupyterHub и PySpark на свой локальный компьютер с Ubuntu, а затем выполнил необходимые настройки, чтобы JupyterHub распознал PySpark как одно из его ядер.

Интеграция, кажется, работает отлично, учитывая, что настроенное мной ядро ​​успешно загружается при создании ноутбука с использованием Python3.6 + Pyspark (Spark 2.4.0).

Однако возникает проблема, когда я пытаюсь создать контекст Spark с помощью приведенного ниже кода: 

from pyspark import SparkContext
sc = SparkContext("local")

Возникает следующая ошибка: 

---------------------------------------------------------------------------
Exception                                 Traceback (most recent call last)
<ipython-input-1-c58704bbced4> in <module>()
      3 from pyspark import SparkContext
      4 
----> 5 sc = SparkContext("local")
      6 
      7 import random

~/Programas/spark-2.4.0-bin-hadoop2.7/python/pyspark/context.py in __init__(self, master, appName, sparkHome, pyFiles, environment, batchSize, serializer, conf, gateway, jsc, profiler_cls)
    113         """
    114         self._callsite = first_spark_call() or CallSite(None, None, None)
--> 115         SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
    116         try:
    117             self._do_init(master, appName, sparkHome, pyFiles, environment, batchSize, serializer,

~/Programas/spark-2.4.0-bin-hadoop2.7/python/pyspark/context.py in _ensure_initialized(cls, instance, gateway, conf)
    296         with SparkContext._lock:
    297             if not SparkContext._gateway:
--> 298                 SparkContext._gateway = gateway or launch_gateway(conf)
    299                 SparkContext._jvm = SparkContext._gateway.jvm
    300 

~/Programas/spark-2.4.0-bin-hadoop2.7/python/pyspark/java_gateway.py in launch_gateway(conf)
     92 
     93             if not os.path.isfile(conn_info_file):
---> 94                 raise Exception("Java gateway process exited before sending its port number")
     95 
     96             with open(conn_info_file, "rb") as info:

Exception: Java gateway process exited before sending its port number

Я читал другие темы, созданные пользователями с похожими проблемами, но мне не повезло с предлагаемыми решениями. Мой JAVA_HOME установлен; Я использую Java 8; Я попытался добавить PYSPARK_SUBMIT_ARGS в среду; среди прочих.

...