В моей работе с искрой я указываю
--conf spark.executor.instances=42 \
--conf spark.dynamicAllocation.initialExecutors=42 \
--conf spark.dynamicAllocation.maxExecutors=50 \
--conf spark.dynamicAllocation.minExecutors=40 \
--conf spark.dynamicAllocation.enabled=true
и не хочу, чтобы моя работа с игрой начиналась до тех пор, пока в ней не будет 40 исполнителей, но работа начинается только с 2 исполнителями, а затем увеличивается позже