Pyspark - ошибка, связанная с SparkContext - без атрибута _jsc

Question

Не уверен, в чем проблема с этим. Я видел похожие проблемы, связанные с этой проблемой, но ничего, что решает мою проблему. Полная ошибка,

Traceback (most recent call last):
  File "C:/Users/computer/PycharmProjects/spark_test/spark_test/test.py", line 4, in <module>
    sqlcontext = SQLContext(sc)
  File "C:\Users\computer\AppData\Local\Programs\Python\Python36\lib\site-packages\pyspark\sql\context.py", line 74, in __init__
    self._jsc = self._sc._jsc
AttributeError: type object 'SparkContext' has no attribute '_jsc'

Вот простой код, который я пытаюсь запустить:

from pyspark import SQLContext
from pyspark.context import SparkContext as sc

sqlcontext = SQLContext(sc)

df = sqlcontext.read.json('random.json')

Answer 1

Если вы используете Spark Shell, вы заметите, что SparkContext уже создан.

В противном случае вы можете создать SparkContext путем импорта, инициализации и предоставления параметров конфигурации. В вашем случае вы только передали SparkContext на SQLContext

import pyspark

conf = pyspark.SparkConf()
# conf.set('spark.app.name', app_name) # Optional configurations

# init & return
sc = pyspark.SparkContext.getOrCreate(conf=conf)
sqlcontext = SQLContext(sc)

df = sqlcontext.read.json('random.json')