Anaconda (4.2) python 2.7.14: убедитесь, что работники зарегистрированы и имеют достаточные ресурсы

Question

Может кто-нибудь помочь исправить следующий код, пожалуйста?

import pyspark
from pyspark import SparkContext, SparkConf
conf = SparkConf()
conf.setMaster('yarn-cluster')
conf.setAppName('test')
sc = SparkContext.getOrCreate()
r = sc.textFile("data.csv")
r.collect()

Выдает ошибку со следующим исключением:

WARN cluster.YarnScheduler: начальное задание не принято Ресурсы; проверьте интерфейс вашего кластера, чтобы убедиться, что работники зарегистрированы и иметь достаточные ресурсы

Я ожидаю, что результат сбора будет распечатан.

Спасибо.

Answer 1

Насколько я понимаю, это открытый вопрос, вы можете найти больше информации здесь:

https://community.hortonworks.com/questions/37247/initial-job-has-not-accepted-any-resources.html

А здесь:

https://github.com/databricks/spark-knowledgebase/issues/9