Дублирует при потоковой передаче данных JSON в BigQuery - PullRequest
0 голосов
/ 30 октября 2018

https://cloud.google.com/bigquery/docs/reference/rest/v2/tabledata/insertAll

Я передаю данные в таблицу на BigQuery, но столкнулся с проблемой дубликатов. Я прочитал документ, в котором говорилось, что указание insertId предотвратит дублирование, но этот insertId действует только от 5 минут до 90 минут. Впоследствии, если строка вставляется с этим insertId, она вставляется как дублирование. Каков наилучший способ поместить данные в мою таблицу BigQuery и избежать дублирования?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...