Разделение таблиц с помощью коннектора Kafka Connect GCP BigQuery Sink - PullRequest
0 голосов
/ 08 ноября 2019

Народ,

Я использую сливной соединитель для передачи данных в BigQuery. Для каждого события я создал схему avro, которая будет интерпретироваться в BigQuery. Можно ли определить какое-либо поле события как раздел таблицы?

В настоящее время используется скрытое поле _PARTITIONTIME, но мне нужно, чтобы оно было полем для фактического события, чтобы упростить обработку дубликатов, например.

1 Ответ

0 голосов
/ 09 ноября 2019

Вы можете разделить один из столбцов даты или метки времени . Также есть бета-функция для секционированных таблиц с целочисленным диапазоном для разделения на целочисленные столбцы.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...