При выполнении Spark-submit со статическим распределением количество порождаемых контейнеров больше, чем количество, указанное в ручной отправке num-executors. Любые конкретные причины, по которым задания требуют дополнительных ресурсов.
Spark - 2.4.4
spark-submit \
--name "name" \
--master "yarn" \
--deploy-mode "cluster" \
--queue "queue" \
--driver-memory "1g" \
--executor-memory "1g" \
--num-executors "10" \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=PYSPARK_PYTHON \
--conf spark.sql.autoBroadcastJoinThreshold=-1 \
--conf spark.yarn.submit.waitAppCompletion=false \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.executor.memoryOverhead=512 \
--conf spark.driver.memoryOverhead=512 \
--conf spark.sql.shuffle.partitions=100 \
--conf spark.shuffle.consolidateFiles=true \
--properties-file properties_file \
--archives ZIP_FILE \
--jars JARS
Пожалуйста, дайте мне знать, если требуется какая-либо дополнительная информация.
