Как долго искровая работа будет ждать ресурса из пряжи при нехватке ресурсов? - PullRequest
1 голос
/ 24 апреля 2019

Когда задание Spark не может получить достаточно ресурсов для запуска, и оно зависает там, чтобы ждать.

Как долго это будет ждать? Как я могу контролировать время ожидания для подвешенной работы?

Спасибо

1 Ответ

1 голос
/ 26 апреля 2019

Под YARN работа может зависать бесконечно в ожидании ресурсов. Однако, поскольку большие задачи обычно разбиваются на более мелкие задачи, они обычно не блокируются, если только минимальная задача не превышает максимальное ограничение контейнера.

...