Упорядочение записей различных выходов Pcollections

Question

Я написал функцию ParDo, которая возвращает несколько выходных данных.Хотя элементы PCollections неупорядочены, я хотел бы написать эти различные типы Pcollections последовательно.Поддерживает ли Beam SDK эту функцию?

Answer 1

Если я правильно понимаю ваш вопрос, вы хотите заказать обработку каждого из этих выходов на последующих этапах?Если это так, вы можете использовать Wait .

Таким образом, для PCollectionTuple «результаты» с тремя тегами кортежей (ОДИН, ДВУХ и ТРИ).

results.get(THREE)
  .apply(Wait.on(results.get(TWO))
                 .apply(Wait.on(results.get(ONE)
                                .apply(new ProcessOne()))
                 .apply(new ProcessTwo())
  .apply(new ProcessThree());

Это должно позволить обрабатывать ОДИН перед ДВА, а затем ТРИ.