У меня есть следующие настройки в моей работе Spark:
--num-executors 2
--executor-cores 1
--executor-memory 12G
--driver memory 16G
--conf spark.streaming.dynamicAllocation.enabled=false \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.streaming.receiver.writeAheadLog.enable=false
--conf spark.executor.memoryOverhead=8192
--conf spark.driver.memoryOverhead=8192'
Насколько я понимаю, работа должна выполняться с 2 исполнителями, однако она выполняется с 3. Это происходит с несколькими из моих работ. Может кто-нибудь объяснить, пожалуйста, причину?