Я запускаю приложение pyspark, которое состоит из одного этапа.Количество задач на этапе зависит от количества разделов, и, следовательно, на этапе присутствуют несколько задач.Я хочу планировать задачи в зависимости от размера раздела, который он переносит.Например - Задачи с большими разделами должны планироваться первыми.
Есть ли способ запланировать задачи в задании на запуск с помощью нашего собственного алгоритма?