Flatten.pcollections () `не активируется и не выводит никаких данных - PullRequest
0 голосов
/ 11 апреля 2019

Мне нужно выполнить запросы на пучок SQL и в конце записать результат в BigQuery.

У меня есть список результатов запросов, и я хочу объединить их в одну коллекцию и записать их все в BigQuery.

Но, к сожалению, это не работает, и Флаттен не выводит никаких данных, даже если это точно.


List<PCollection<Row>> pCollectionRowsList = queries.entrySet().stream().map((entry) ->
  events.apply("event: " + entry.getKey(), SqlTransform.query(entry.getValue())))
  .setCoder(RowCoder.of(rowOutputSchema)).setRowSchema(rowOutputSchema))
  .collect(Collectors.toList());

PCollectionList.of(pCollectionRowsList).apply(Flatten.pCollections())
  .apply("bq-write", 
    SqlResultToBigQueryRow.of(
      options.getTargetBigQueryProject().get(),
      options.getTargetBigQueryDataset().get(),
      options.getTargetBigQueryTable().get()
    )
  );

...