Следуйте четкой трансформации с ParDo - Apache Beam - PullRequest
0 голосов
/ 28 января 2020

Является ли хорошей идеей использовать ParDo сразу после Distinct? Происходит следующее: шаг «Извлечь первый элемент» в преобразовании «Отличное» работает параллельно со следующим ParDo и последующими преобразованиями. Трубопровод по какой-то странной причине замедлился. Должен ли я ждать отличного до конечного sh и затем двигаться дальше, создавая фиктивное преобразование между боковыми входами?

Пожалуйста, дайте мне знать ...

Фрагмент кода:

p.apply(TextIO.read().from("gs://"))
.apply(Distinct.<String>create())
.apply(ParDo.of(new DoFn...))
.apply(ParDo.of(new DoFn...))
.apply(SpannerIO.write()...)
...