Ошибка искровой нити (код 13) - PullRequest
Новая
       28

Ошибка искровой нити (код 13)

0 голосов
/ 08 июня 2018

Я пытаюсь запустить программу в кластере, используя YARN.

YARN присутствует там вместе с HADOOP.

Проблема, с которой я сталкиваюсь, описана ниже - 

Container exited with a non-zero exit code 13
Failing this attempt. Failing the application.
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: default
     start time: 1528297574594
     final status: FAILED
     tracking URL: http://MasterNode:8088/cluster/app/application_1528296308262_0004
     user: bblite
Exception in thread "main" org.apache.spark.SparkException: Application application_1528296308262_0004 finished with failed status

Я проверил в сети, и большинство проблем, связанных с переполнением стека, говорят, что пользователи дали .master ('local [*]')) в коде при вызове Spark Session и в то же время, давая -- мастер пряжи во время выполнения spark-submit, поэтому они получают ошибку из-за конфликта.

Но, в моем случае, я вообще не упомянул ни одного мастера в коде.Просто пытаюсь запустить его на пряжу, давая --master пряжу при выполнении искры-подачи.Ниже приведен код, вызывающий искру - 

spark = SparkSession\
        .builder\
        .appName("Temp_Prog")\
        .getOrCreate()

Ниже spark-submit - 

spark-submit --master yarn --deploy-mode cluster --num-executors 3 \
--executor-cores 6 --executor-memory 4G \
/appdata/codebase/backend/feature_extraction/try_yarn.py

Я пробовал и без --deploy-mode, но все равно без помощи.

...