Apache Spark: Сколько разделов может держать исполнитель в спарк? Как распределяются разделы (механизм) среди исполнителей?

Question

Мне интересно знать следующие мелочи о параллелизме и разбиении искры

1. Сколько разделов может содержать исполнитель в искре?
2. Как распределяются разделы (механизм)среди исполнителей?
3. Как установить размер раздела. Хотелось бы узнать соответствующий параметр config.
4. Сохраняет ли executor все разделы в памяти? Если нет при разливе на диск, будет ли разливаться весь раздел на диск или часть раздела на диск? 5 Если в каждом исполнителе 2 ядра, но в этом исполнителе 5 разделов, то

Answer 1

Не совсем правильный взгляд на это. Исполнитель ничего не держит, он просто работает.

• Раздел обрабатывается Ядром, назначенным Исполнителю. Исполнитель обычно имеет 1 ядро, но может иметь более 1 такого ядра.

• Приложение имеет действия, которые переводят на 1 или более заданий.

• Задание имеет этапы (основанные на границах тасования).

• Этапы имеют задачи, число которых зависит от количества разделов.

• Параллельная обработка разделов зависит от количества ядер, выделенных исполнителям.

Spark масштабируется с точки зрения ядер, памяти и диска. Последние два в связи с вашими вопросами означают, что, если все разделы не могут вписаться в память на рабочем месте для вашей работы, то этот раздел или более полностью попадет на диск.