Мне нужно выполнить запросы на пучок SQL и в конце записать результат в BigQuery.
У меня есть список результатов запросов, и я хочу объединить их в одну коллекцию и записать их все в BigQuery.
Но, к сожалению, это не работает, и Флаттен не выводит никаких данных, даже если это точно.
List<PCollection<Row>> pCollectionRowsList = queries.entrySet().stream().map((entry) ->
events.apply("event: " + entry.getKey(), SqlTransform.query(entry.getValue())))
.setCoder(RowCoder.of(rowOutputSchema)).setRowSchema(rowOutputSchema))
.collect(Collectors.toList());
PCollectionList.of(pCollectionRowsList).apply(Flatten.pCollections())
.apply("bq-write",
SqlResultToBigQueryRow.of(
options.getTargetBigQueryProject().get(),
options.getTargetBigQueryDataset().get(),
options.getTargetBigQueryTable().get()
)
);