Получение оригинального объекта неудачной вставки в GBQ в Google Dataflow - PullRequest
0 голосов
/ 31 октября 2018

Я использую Apache Beam для записи некоторых объектов в Google Big Query. Я использую код как

pipeline.apply(...)
        .apply(BigQueryIO.<MyObject>write().withFormatFunction(...))

Я обнаружил, что могу использовать метод .getFailedInsertsWithErr(), чтобы получить то, что TableRow не было вставлено.

Я хотел бы получить оригинальные MyObject объекты, которые вызывают неудачные вставки, чтобы обеспечить другой способ его обработки. Возможно ли достичь этого?

1 Ответ

0 голосов
/ 08 ноября 2018

Это невозможно из коробки в данный момент. После применения BigQueryIO функции форматирования в строке не остается ссылки на исходный объект.

...