Как исправить эту фатальную ошибку при запуске искровых заданий в кластере HDIinsight?Сессия 681 неожиданно достигла окончательного статуса «мертвый».Смотрите журналы:

Question

Я запускаю код pyspark на HDIcluster и получаю эту ошибку:

Код не выполнен из-за неустранимой ошибки: сеанс 681 неожиданно достиг конечного состояния «мертв».Смотрите журналы:

У меня нет опыта работы в YARN или Hadoop.Я перепробовал несколько ссылок в переполнении стека.Но никто из них не помог.Одна странная вещь - я смог запустить тот же код вчера без этой ошибки.

Я только что запустил этот импорт

from pyspark.sql import SparkSession

Это ошибка, которую я получаю:

19/06/21 20:35:35 INFO Client: 
     client token: N/A
     diagnostics: [Fri Jun 21 20:35:35 +0000 2019] Application is Activated, waiting for resources to be assigned for AM.  Details : AM Partition = <DEFAULT_PARTITION> ; Partition Resource = <memory:819200, vCores:240> ; Queue's Absolute capacity = 50.0 % ; Queue's Absolute used capacity = 99.1875 % ; Queue's Absolute max capacity = 100.0 % ; 
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: default
     start time: 1561149335158
     final status: UNDEFINED
     tracking URL: https://mmsorderpredhdi.azurehdinsight.net/yarnui/hn/proxy/application_1560840076505_0062/
     user: livy
19/06/21 20:35:35 INFO ShutdownHookManager: Shutdown hook called
19/06/21 20:35:35 INFO ShutdownHookManager: Deleting directory /tmp/spark-bb63c5f0-7579-4456-b32a-0e643ca97ecc

YARN Diagnostics: 
Application killed by user..

Вопрос: Есть ли что-то, чтобы иметь делос абсолютной использованной емкостью очереди?

Answer 1

Не могли бы вы проверить журналы, чтобы найти точную проблему?

Где найти файл журнала?

В кластере Azure HDInsight журнал livy можно найти, подключившись к одному из головных узлов с помощью SSH и загрузив файл по этому пути.

hdfs dfs -ls /app-logs/livy/logs-ifile

Подробнее см. " Доступ к журналам приложений Apache Hadoop YARN в Linux на основе HDInsight "

А также, вы можете обратиться к « Как начать свечу в pyspark ».

Надеюсь, это поможет.