AWS: исключение: похоже, вы пытаетесь сослаться на SparkContext из широковещательной переменной.SparkContext может быть использован только на драйвере

Question

При попытке запустить мою программу в AWS Amazon Cluster.

[hadoop @ ip-172-31-5-232 ~] $ spark-submit 6.py.

Я получилследующая ошибка:

Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.

Вот пример моего кода, в котором появляется ошибка:

result= l.map(lambda x : (x[0], list(x[1]))).collect()
if (NbrVertex > (2*(len(filteredResults.collect())+ ExtSimilarity))):

Successor = FilterResults3.map (лямбда j: matchedSuccessor (j,результат))

  print(Successor.collect())

Вы можете увидеть изображение ниже] 1

Answer 1

collect вызывает передачу данных в драйвер.

Преемник ... ссылается на драйвер, следовательно, с рабочего, через .map.Не допускается.

Сообщение подтверждает, что парадигма Spark.