Распределяет ли Yarn один контейнер для мастера приложения из числа исполнителей, которые мы передаем в нашей команде spark-submit

Question

Предположим, что я отправляю приложение Spark в режиме клиента-пряжи. В представлении Spark я передаю --num-executors как 10. Когда клиент отправляет это искровое приложение в resourceManager,

Распределяет ли менеджер ресурсов один контейнер исполнителя для основного процесса приложения из --num-executors (10), а остальные 9 будут предоставлены для реальных исполнителей?

или

Распределяет ли он один новый контейнер для главного приложения или дает 10 контейнеров только для исполнителей?

Answer 1

--num-executors - запросить это количество исполнителей у менеджера кластера (это также может быть oop YARN). Это требование Spark.

Мастер приложения (приложения YARN) - это просто элемент YARN.

Может случиться, что приложение Spark также может быть приложением YARN. В таком случае приложение Spark получает 10 контейнеров и один дополнительный контейнер для AM.