Как выполнить потоковую вставку данных из одной таблицы больших запросов в другую после выравнивания вложенных полей?

Question

У меня есть промежуточная таблица, которая содержит send_timestamp и данные JSON в своих столбцах. Я использую поток данных, чтобы вставить данные из pubsub в эту промежуточную таблицу.

Теперь мой вариант использования заключается в аутентификации данных и сглаживании вложенной JSON в промежуточной таблице в соответствующие столбцы в моей окончательной таблице Bigquery между определенной отметкой времени и вставкой ее. Я использовал облачную функцию, но общее количество сообщений огромно, поэтому оно не работает.

Может кто-нибудь порекомендует решение, и для его работы требуется меньше времени?

Спасибо!

Answer 1

Просто используйте DML . Выполните запрос, подобный этому

insert into DATASET.TARGET_TABLE
select * from DATASET.tmp_table where ....

Ваша облачная функция может выполнить этот запрос и выйти. Или дождитесь окончания, чтобы быть уверенным, что задание закончено и успешно выполнено.

РЕДАКТИРОВАТЬ

Вы можете читать (и только читать) данные в Cloud SQL спасибо объединенная таблица .

Таким образом, вы можете выполнить поиск рядом с данными в BigQuery и выбрать только тот, который соответствует облачным SQL единиц!