Как сэкономить при вызове BigQuery из облачной функции Google

Question

Ежедневно в мое хранилище Google добавляется 10 000 изображений.

В этом хранилище есть событие облачной функции, которое запускает сканирование BigQuery

Моя облачная функция проверяет существующие записи в BigQuery. 10000 раз в день, что приводит к увеличению моего счета BigQuery до неустойчивой суммы.

Я хотел бы знать, есть ли способ один раз запросить базу данных и сохранить результаты в переменной, которая затем может быть доступна для все запущенные облачные функции?

В итоге: запросите базу данных один раз, сохраните результаты запроса, используйте результаты запроса для всех вызовов облачной функции. Таким образом, я не бью BigQuery 10 000+ раз в день.

PS BigQuery обработал 288 терабайт данных, что является безумным счетом $$$$$$$$$$$

Answer 1

Это безумный счет.

Шаг 1: Настройте контроль затрат. Вы никогда больше не будете иметь дело с безумными счетами.

• Как включить контроль затрат в BigQuery?

Шаг 2: Вместо запросов еще раз, проверьте результаты предыдущей работы. Если это тот же запрос и данные, те же результаты остаются в силе. Метод API - jobs.getQueryResults().

• https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/getQueryResults

Шаг 3: Кластеризация ваших таблиц. Вы, вероятно, найдете 90% дополнительных сокращений затрат.

• https://medium.com/google-cloud/bigquery-optimized-cluster-your-tables-65e2f684594b