Как прекратить Spark Submit и состояние принято - PullRequest
Новая
       12

Как прекратить Spark Submit и состояние принято

0 голосов
/ 08 апреля 2020

Я выполняю задание по очистке данных, используя apache грифон: https://griffin.apache.org/docs/quickstart.html

и после отправки искрового задания

spark-submit --class org . apache .griffin.measure.Application - мастер пряжи - клиент режима развертывания --queue default \ --driver-memory 1g --executor-memory 1g --num-executors 2 \ / home / bigdata / apache -hive-2.2.0-bin / measure-0.4.0.jar \ /home/bigdata/apache-hive-2.2.0-bin/env.json / home / bigdata / apache - hive-2.2.0-bin / dq. json

Моя работа представляется следующим образом:

20/04/08 13:18:30 INFO yarn.Client: Application отчет для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:31 INFO yarn.Client: отчет о приложении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:32 INFO yarn.Client: отчет о приложении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:33 INFO yarn.Client: Отчет о применении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:34 INFO yarn.Client: Applic Отчет о применении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:35 INFO yarn.Client: Отчет о приложении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:36 INFO yarn.Client: Отчет о приложении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:37 INFO yarn.Client: отчет о приложении для application_1586344612496_0247 (состояние: ACCEPTED) 20/04/08 13:18:38 INFO yarn.Client: отчет о приложении для application_158634467496 (состояние: ПРИНЯТО) 20/04/08 13:18:39 INFO yarn.Client: Отчет о приложении для application_1586344612496_0247 (состояние: ПРИНЯТО) 20/04/08 13:18:40 INFO yarn.Client: Отчет о приложении для application_1586344612496_0247 (состояние : ПРИНЯТО)

И никогда не останавливается:

и Когда я проверяю состояние пряжи:

bigdata@dq2: ~ приложение $ yarn -status application_1586344612496_0231 20/04 / 08 13:16:31 INFO client.RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032 Отчет о приложении: Application-Id: ap plication_1586344612496_0231 Имя приложения: batch_accu Тип приложения: SPARK Пользователь: bigdata Очередь: время начала по умолчанию: 1586348775760 Конец sh -Время: 0 Ход: 0% Состояние: ПРИНЯТО Окончательное состояние: НЕ УКАЗАН URL-адрес отслеживания: N / A RP C Порт: -1 AM Хост: N / A Совокупное распределение ресурсов: 0 МБ-секунд, 0 vcore-секунд Диагностика:

Работа не движется, может кто-нибудь, пожалуйста, помогите ....

1 Ответ

0 голосов
/ 09 апреля 2020

По моему опыту, может быть много причин для этой проблемы, но первые проверки, которые вы должны сделать, следующие:

  • Ваш брандмауэр может блокировать некоторые порты между узлами внутри вашего Был кластер oop, поэтому вычисления никогда не запускались. Попробуйте временно отключить брандмауэр для частного интерфейса и попробуйте еще раз, чтобы исключить эту проблему (если это проблема, повторно активируйте брандмауэр и определите порты, которые необходимо открыть!)
  • Возможно, Spark настроен неправильно ( т.е. потребность в ресурсах)
...