spark AnalysisException Не удалось создать экземпляр SessionHiveMetaStoreClient во втором блокноте?

Question

Я запускаю искру в ноутбуке Jupyter, и я только что выяснил, в чем проблема, но, возможно, это полезно для других.Я выполняю этот код в двух записных книжках:

import pandas as pd
from pyspark import SQLContext
df = pd.DataFrame({'x': [1, 2, 3]})

sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)
sqlContext.createDataFrame(df)

Первый блокнот возвращает:

DataFrame[x: bigint]

В то время как второй блокнот возвращает:

AnalysisException: Unable to instantiate [...].SessionHiveMetaStoreClient

Answer 1

Несмотря на то, что контекст искры тот же, когда вы получаете его с SparkContext.getOrCreate(), что-то мешает искре спровоцировать этот объект. sc.stop() недостаточно.

Решение состоит в том, чтобы закрыть первый ноутбук , т.е. полностью остановить ядро. Тогда это работает во второй записной книжке. Может быть, кто-то может добавить объяснение, почему это происходит.