Я использую spark 1.6 в режиме клиента YARN. Ниже приведены параметры spark-submit
spark-submit --master yarn --deploy-mode client --driver-memory 4G --executor-memory=6G --num-executors=5 --executor-cores=4
Как вы можете видеть, моя память драйвера равна 4G в команде spark-submit, а память моего исполнителя - 6G, но когда я посмотрел на вкладку executors в интерфейсе spark, он показывает как ниже. Я хочу знать, почему это происходит. но на вкладке Окружающая среда отображается правильно. Почему объем памяти составляет 3,1 ГБ вместо 6G. На самом деле я ожидаю, что память исполнителя будет больше 6G из-за накладных расходов памяти исполнителя
