Я запускаю пример Spark PI Job, используя команду spark-submit в режиме yarn-client.Моя работа работает нормально, когда драйвер отправляет работу на том же узле, где работает мой клиент.
Пример. Если я запускаю задание на отправку спарк с узла 1 и если менеджер узла запускается на самом узле 1, то он работает нормально.Но если я запускаю задание из узла 1, диспетчер узлов запускается на узле 2, то приложение остается в состоянии ПРИНЯТО.
В большинстве ответов, которые я прошел, говорилось о том, что задание не получает ресурсы.Я запускаю команду Spark PI со следующей командой
Я проверил все ресурсы, на 16-гигабайтном 4-ядерном компьютере у меня есть 10 ГБ свободного места, а загрузка ЦП ниже 30%
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --num-executors 1 --driver-memory 512m --executor-memory 512m --executor-cores 1 spark-examples*.jar 100
Ятолько с просьбой о минимальных ресурсах, но моя работа застряла в состоянии ПРИНЯТО.