Я разместил этот вопрос в списке пользователей Apache Beam .
. Для этого есть открытый билет ( BEAM-106 ), но онеще не запущен.
Существует два решения:
- Разверните цикл самостоятельно, что, конечно, ограничивает количество итераций.Будьте осторожны с количеством созданных вами преобразований.Это может быть ограничено бегуном.
- Создайте несколько конвейеров и сохраните промежуточные данные.Это упрощает отладку, но требует дополнительных затрат на хранение и загрузку данных.