Big Query Public Datase События / Триггеры?

Question

Есть ли способ получить уведомление, когда новые строки вставляются в открытый набор данных? Поддерживают ли наборы / таблицы данных BQ триггеры или события, которые мы можем использовать при изменении данных?

Я экспериментирую с общедоступными наборами данных и хочу выполнять мою логику пересчета всякий раз, когда Google обновляет общедоступный набор данных. Я хочу вызвать CloudFunction для вычисления чего-либо, когда новые строки вставляются в открытый набор данных noaa_gsod.gsod_2018. Теперь это не должно быть необычной целью без сервера - я рад подписаться на тему на PubSub и использовать экземпляр виртуальной машины GCE для выполнения моей логики, если публичный набор данных BQ может каким-либо образом публиковать такие сообщения в PubSub. К сожалению, я не смог найти способ получать уведомления об изменениях / обновлениях в общедоступном наборе данных. Хотелось бы услышать от сообщества, если бы кто-то экспериментировал по этому вопросу. Спасибо, Дерендра Натх.

Answer 1

лучший вариант, который я вижу до сих пор, это иметь процесс, который будет выполнять запрос ниже (бесплатно) так часто, как вам нужно, и на основе изменений в соответствующих полях вызывать любую логику, которую вы имеете в виду

select last_modified_time, row_count
from `bigquery-public-data.noaa_gsod.__TABLES__`
where table_id = 'gsod2018'

или вы можете использовать tables.get API для того же

К сожалению, триггеры облачных функций на таблицах BigQuery не поддерживаются, а уведомления BigQuery об изменениях не поддерживаются

Между тем, вы можете отправить соответствующий запрос в Issue Tracker