Apache Beam / Dataflow ReShuffle устарел, что использовать вместо этого?

Question

Apache Beam's Перестановка была помечена как устаревшая в мае 2017 года с пометкой

Только для внутреннего использования; обратная совместимость не гарантируется.

Кроме того, DataflowRunner устанавливает ReshuffleOverrideFactory, что мне неясно, как изменяется перестановка.

Во всяком случае, JavaDo c не упоминает, что использовать вместо этого. Как предполагается, что пользователи имеют дело с преобразованиями ParDo в целом и с потоками данных?

Answer 1

Вы можете посмотреть опцию withFanout в операциях GroupByKey и Combine. Вот ссылка на Java API - https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/transforms/Combine.Globally.html#withFanout -int-