Есть ли способ уменьшить по разделам в Apache Beam? - PullRequest
0 голосов
/ 16 мая 2019

Позволяет ли Apache Beam сокращать операции для каждого раздела?

Для большего контекста, я хочу понять, возможно ли в Apache Beam агрегировать данные в разделе перед перетасовкой данных на один узел дляокончательное слияние агрегатов?

1 Ответ

0 голосов
/ 16 мая 2019

С некоторым предположением, если я правильно понимаю ваш вопрос, выполнение этого означает: 1) сначала выполнить перемешивание в ограниченном объеме (т. Е. Для каждого раздела / сегмента), затем уменьшить, а затем 2) перестановку в произвольном порядке / между различными разделами, а затем уменьшить снова.

В большинстве случаев выполнение этого не принесет пользы, если выполнение шага 1) значительно не уменьшит объем передачи данных, необходимый для шага 2) перемешивания выше.И если это так, подумайте об использовании «комбайна».Под капотом комбайн делает (почти) то же самое, что вы предлагаете.

...