автообновление файла таблицы больших запросов из GCS в формате паркета - PullRequest
0 голосов
/ 19 апреля 2020

Я использовал таблицу передачи данных, которая будет автоматически отправлять данные из корзины s3 в GCS. Этот трансфер будет выполняться каждый день автоматически утром. Я создал таблицу в BigQuery, которая будет читать данные из GCS, пока проблем нет. Теперь меня беспокоит то, что файлы GCS ежедневно обновляются в GIG, и таблица больших запросов, которая, как предполагается, использует файл партера GCS, не обновляется каждый день.

Какова процедура для таблицы? быть в состоянии использовать последние данные из корзины GCS.

Пример. Я создал свою таблицу 17 апреля.

enter image description here

My передача данных отправьте какой-нибудь файл на 19

enter image description here

Но когда я делаю select max(created_at) from mytable, он не дает мне последние обновленные данные

...