У нас есть сценарий, в котором нам нужно иметь BigQuery. Читать позже в конвейере (не в PBegin). Есть ли способ реализовать это?
Мы пытаемся запустить последовательность шагов, где мы загружаем pcollection в таблицу bigquery и затем извлекаем данные из этой таблицы (с некоторыми фильтрами) после загрузки для наших следующих шагов. Мы можем сделать это в нескольких конвейерах, имеющих bigqueryio.read в начале каждого конвейера. Однако для нашего пакетного управления было бы проще, если бы мы могли иметь его в одном конвейере потока данных (изначально загружать целые таблицы больших запросов и полностью отрабатывать, что pcollection стоит дорого)