Я выполняю искорное задание, когда задачи не связаны только с процессором. Поэтому я хочу, чтобы spark одновременно запускал больше задач, чем количество доступных процессоров.
Для задачи можно назначить более 1 ядра, задав spark.task.cpus=2
Но уменьшив количество ядер. не работает таким образом. Например, spark.task.cpus=0.1 не работает.
Возможно ли выполнить несколько задач на ядро без ручного распараллеливания?