Невозможно создать искровой контекст на ноутбуке Jupyter - PullRequest
0 голосов
/ 23 ноября 2018

Может кто-нибудь помочь мне, я получаю ниже ошибки при создании Spark Context?Я не могу создать, поскольку я получаю ошибку ниже

from pyspark import SparkConf,SparkContext

conf=SparkConf().setMaster("localhost")
sc=SparkContext(conf = conf)


ExceptionTraceback (most recent call last)
<ipython-input-7-3d97d6624879> in <module>()
----> 1 sc=SparkContext(conf = conf)

/home/cloudera/anaconda2/lib/python2.7/site-packages/pyspark/context.pyc in __init__(self, master, appName, sparkHome, pyFiles, environment, batchSize, serializer, conf, gateway, jsc, profiler_cls)
    113         """
    114         self._callsite = first_spark_call() or CallSite(None, None, None)
--> 115         SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
    116         try:
    117             self._do_init(master, appName, sparkHome, pyFiles, environment, batchSize, serializer,

/home/cloudera/anaconda2/lib/python2.7/site-packages/pyspark/context.pyc in _ensure_initialized(cls, instance, gateway, conf)
    296         with SparkContext._lock:
    297             if not SparkContext._gateway:
--> 298                 SparkContext._gateway = gateway or launch_gateway(conf)
    299                 SparkContext._jvm = SparkContext._gateway.jvm
    300 

/home/cloudera/anaconda2/lib/python2.7/site-packages/pyspark/java_gateway.pyc in launch_gateway(conf)
     92 
     93             if not os.path.isfile(conn_info_file):
---> 94                 raise Exception("Java gateway process exited before sending its port number")
     95 
     96             with open(conn_info_file, "rb") 

Exception: Java gateway process exited before sending its port number

1 Ответ

0 голосов
/ 23 ноября 2018

Это может произойти, если ваша версия PySpark не соответствует версии Spark, которую вы настроили.(Продиктовано переменной SPARK_HOME) - я помню, что это проблема давным-давно.

На вашем терминале попробуйте выполнить

pip freeze|grep pyspark

А затем

spark-shell --version

Убедитесь, что версии совпадают.Если это так, перезапустите ядро ​​и попробуйте снова.Надеюсь, это поможет!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...