Как работает разбиение Round Robin в Spark? - PullRequest
Новая
       13

Как работает разбиение Round Robin в Spark?

0 голосов
/ 10 января 2019

У меня проблемы с пониманием кругового разбиения робина в Spark. Рассмотрим следующий пример. Я разделил Seq размером 3 на 3 раздела: 

val df = Seq(0,1,2).toDF().repartition(3)

df.explain

== Physical Plan ==
Exchange RoundRobinPartitioning(3)
+- LocalTableScan [value#42]

Теперь, если я проверяю разделы, я получаю: 

df
  .rdd
  .mapPartitionsWithIndex{case (i,rows) => Iterator((i,rows.size))}
  .toDF("partition_index","number_of_records")
  .show

+---------------+-----------------+
|partition_index|number_of_records|
+---------------+-----------------+
|              0|                0|
|              1|                2|
|              2|                1|
+---------------+-----------------+

Если я сделаю то же самое с Seq размером 8 и разделю его на 8 разделов, у меня будет еще хуже: 

(0 to 7).toDF().repartition(8)
  .rdd
  .mapPartitionsWithIndex{case (i,rows) => Iterator((i,rows.size))}
  .toDF("partition_index","number_of_records")
  .show

+---------------+-----------------+
|partition_index|number_of_records|
+---------------+-----------------+
|              0|                0|
|              1|                0|
|              2|                0|
|              3|                0|
|              4|                0|
|              5|                0|
|              6|                4|
|              7|                4|
+---------------+-----------------+

Может кто-нибудь объяснить это поведение. Насколько я понимаю, разбиение по круговому алгоритму показывает, что все разделы имеют одинаковый размер.

Ответы [ 2 ]

0 голосов
/ 11 января 2019

(Проверено для версии Spark 2.1-2.4)

Насколько я вижу из ShuffleExchangeExec кода , Spark пытается разделить строки непосредственно из исходных разделов (через mapPartitions), не передавая ничего драйверу.

Логика состоит в том, чтобы начать со случайно выбранного целевого раздела, а затем назначить разделы строкам методом циклического перебора. Обратите внимание, что «стартовый» раздел выбирается для каждого исходного раздела, и возможны коллизии.

Окончательное распределение зависит от многих факторов: количества исходных / целевых разделов и количества строк в вашем кадре данных.

0 голосов
/ 10 января 2019

Я не могу объяснить, почему, но почему-то это ссылка на местного мастера.

если вы явно указали:

  • --master local => 1 строка на раздел (без параллелизма)

  • --master "local[2]" => 2 строк на раздел (4 раздела пусто)

  • --master "local[4]" => 4 строк на раздел (6 разделов пусто)

  • --master "local[8]" => 8 строк на раздел (7 разделов пусто)

...