Я знаю, как это работает при указании количества исполнителей и ядер в спарке. но как это назначает исполнителей статически, когда я не указываю количество исполнителей. У него есть конкретный номер исполнителя?
Здесь вы можете найти значения по умолчанию для spark.executor.instances для режима YARN:
https://spark.apache.org/docs/latest/running-on-yarn.html
spark.executor.instances: Значение по умолчанию: 2
The number of executors for static allocation. With spark.dynamicAllocation.enabled, the initial set of executors will be at least this large.