Спарк-подчинение не получает ресурсы как подчиненные?

Question

1. Сводка : я использую spark-submit для отправки своего приложения в мой искровой кластер, но ресурс, выделенный для моего приложения, не соответствует параметрам, которые я указал.
2. Подробности : я всегда получаю 4 контейнера и 16 ядер и 74752 МБ ОЗУ (примерно 73 ГБ).А когда я изменяю режим client на cluster, я получаю только меньше, например, 9 контейнеров, 9 ядер и 45056 МБ ОЗУ (примерно 44 ГБ).Я нахожу эту информацию на странице cluster:8088, где отображается информация о приложении.Я также делаю перекрестную ссылку с вкладкой executors spark:4044, где отображается информация об исполнителях для приложения spark.
3. Ниже приведен фрагмент кода, который я использую: spark-submit --master yarn --deploy-mode client --class "$1" target/scala-2.10/recommend-assembly-0.1.jar --executor-cores 8 --num-executor 15 --driver-memory 19g
4. Информация о среде: Spark1.6 на пряже, Hadoop2.6.Кластер из 4 узлов (1 из которых является главным), каждый с 16-ядерным процессором и 64 ГБ ОЗУ (хотя мой узел каким-то образом имеет доступ только к 40 ГБ ОЗУ каждый).
5. Что я пробовал:
   1. Я попытался поработать с вышеупомянутыми параметрами (например, num-executor), я все еще получаю такое же количество ресурсов.Но когда я изменяю client на cluster, выделяемые ресурсы становятся еще меньше.
   2. Я подозреваю, что некоторые настройки пряжи вызывают это.И я нахожу Apache Hadoop Yarn - Недостаточное использование ядер , однако, это не поможет после того, как я изменил настройку в capacity-scheduler.xml.

Answer 1

Я думаю, что вы должны принять знания о искре на пряже, включая контейнер, сцену, AM и т. Д.