Как обеспечить, чтобы задание spark не запускалось до тех пор, пока оно не будет иметь все указанные значения minExecutor - PullRequest
0 голосов
/ 22 апреля 2020

В моей работе с искрой я указываю

--conf spark.executor.instances=42 \
--conf spark.dynamicAllocation.initialExecutors=42 \
--conf spark.dynamicAllocation.maxExecutors=50 \
--conf spark.dynamicAllocation.minExecutors=40 \
--conf spark.dynamicAllocation.enabled=true 

и не хочу, чтобы моя работа с игрой начиналась до тех пор, пока в ней не будет 40 исполнителей, но работа начинается только с 2 исполнителями, а затем увеличивается позже

...