Почему spark num-executors не равен пряжевым контейнерам?

Question

Согласно [ Spark на менеджере ресурсов YARN: отношение между контейнерами YARN и исполнителями Spark , количество контейнеров пряжи должно быть равно num-executors для приложения spark.Тем не менее, во время прогона я увидел, что num-executors, показанные на вкладке среды Spark-UI, было 60, но количество контейнеров, показанных в yarn, было только 37. Я использовал spark 2.2, а для spark.dynamicAllocation.enabled задано значение false.Я использовал кластер Azure-HDinsight.Кто-нибудь может это объяснить?

Answer 1

Spark-UI также показывает некоторых завершенных исполнителей. Возможно, они были удалены динамическим исполнением Spark. или через выгрузку YARN. Обычно вы можете сказать, живы ли исполнители или нет.

Другая причина их отличия - это драйвер Spark. В режиме «кластер пряжи» драйвер также занимает контейнер пряжи. Так что в этом случае вы также увидите разницу в +1.