Есть ли способ создать пакетное задание в потоке данных, который читает из темы pubsub?

Question

У меня есть конвейер потока данных в потоковом режиме, так как он читает из раздела pubsub. Я хочу изменить его в пакетный режим. Мне нужно по порядку использовать FlexRS, так как он поддерживается только в пакетном режиме. Версия луча: 2.13.0

Answer 1

Вы можете изучить использование источника BoundedReadFromUnbounded, который позволяет преобразовывать неограниченную коллекцию в ограниченную.

UnboundedSource<String> unboundedSource  = ...;
PCollection<String> boundedCollection=
     p.apply(Read.from(unboundedSource).withMaxNumRecords(10));

Вы также можете использовать с MaxReadTime