Выполнить скрипт python с искрой

Question

Я хочу пройти тест python в SparkContext в моем блокноте jupyter, и результат также будет отображаться в блокноте. Чтобы проверить, я просто выполняю свой блокнот jupyter следующим образом:

sparkConf = SparkConf()
sc = SparkContext(conf=sparkConf)

sc.addPyFile('test.py')

с test.py, выглядящим как

rdd = sc.parallelize(range(100000000))
print(rdd.sum())

Но когда я выполняю строку sc.addPyFile в своем блокноте , Вывода не вижу. Я неправильно передаю сценарий pyspark в свой SparkContext?

Answer 1

Используемая функция не используется для запуска задания, вместо этого она передает модуль python в sparkContext, чтобы его можно было импортировать в скрипт по мере необходимости.

См. Здесь: https://spark.apache.org/docs/0.7.3/api/pyspark/pyspark.context.SparkContext-class.html#addPyFile

Чтобы запустить задание, вам нужно запустить spark-submit test.py вне вашего ноутбука jupyter.