Остановка SparkContext в интерпретаторе Python - PullRequest
Новая
       12

Остановка SparkContext в интерпретаторе Python

0 голосов
/ 03 марта 2019

У меня есть функция runTests (sc) в файле test_spark.py

Я открываю интерпретатор python в каталоге, где расположен test_spark, и выполняю следующие команды. 

from pyspark import SparkContext
sc = SparkContext()

from test_spark import runTests
runTests(sc)

Код в методе runTests выполняется так, как я намереваюсь, однако я не могу остановить SparkContext sc.Я попытался написать sc.stop () в конце в моей функции runTests ().

Я попытался передать sc.stop() в интерпретаторе python.Но это не останавливает SparkContext.

Ниже мой код, который я запускаю для проверки 

sc
<SparkContext master=local[*] appName=pyspark-shell>

sc._jsc.sc().isStopped()
False

sc.stop()
sc._jsc.sc().isStopped()
Traceback (most recent call last):
   File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'sc'

sc
<SparkContext master=local[*] appName=pyspark-shell>

Я могу закрыть контекст только при выходе из интерпретатора python.Проблема в том, что для каждого маленького теста в моем коде мне нужно открыть интерпретатор и снова запустить команды импорта.

...