Как драйвер зажигания определяет, какие искровые исполнители следует использовать?

Question

Как программа-драйвер определяет, какие исполнители будут использоваться для конкретной работы?

Приводится ли в действие локальность данных?
Выбраны ли исполнители на основе наличия данных на этой датоде?
Если да, что произойдет, если все данные присутствуют на одном узле данных, и у узла данных достаточно ресурсов для запуска 2 исполнителей, но в команде spark-submit мы использовали -Количество исполнителей 4 .На каком из них должно работать 4 исполнителя?

Будет ли драйвер-драйвер Spark копировать некоторые данные из этого датодода в какой-либо другой датчик данных и порождать еще 2 исполнителей (из 4 обязательных исполнителей)?

Answer 1

Spark опирается на локальность данных;На практике DAG Scheduler будет пытаться планировать максимальное количество задач, в которых данные будут обрабатываться на том же узле, что и исполнитель.spark.locality.wait - это параметр (со значением по умолчанию 3), который, по сути, означает, что если за последние 3 секунды ни одна задача не была выполнена с локальным расположением узла, он начнет выполнять задачи, получая данные от других узлов (согласно принципу осведомленности стойки).