работа на спарк зависает на сборе при работе на AWS EMR - PullRequest
Новая
       37

работа на спарк зависает на сборе при работе на AWS EMR

0 голосов
/ 23 сентября 2019

Я запустил очень простое приложение на AWS EMR, когда закончил сборку кластера, добавив шаг.Я считаю, что приложение зависает на этапе сбора.Кто-нибудь встречал такую ​​же проблему?

из pyspark import SparkContext 

if __name__ == "__main__":

    sc = SparkContext(appName='Test')

    text_file = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8])
    counts = text_file.map(lambda word: word+1)
    print(counts.collect())
    sc.stop()

EMR показывает:

enter image description here

Почему он продолжает ждать на этапе сбора ??

...