Превышена квота использования Google BigQuery ExtractBytesPerDay - Что такое ExtractBytesPerDay?

Question

Я выполняю последовательность запросов в BigQuery, которые берут данные из таблицы, обогащают / преобразуют их и загружают в другие таблицы в том же проекте.

Структура запроса очень высокого уровня выглядит так:

WITH query_1 as (
SELECT columns from Table_A
WHERE some_condition = some_value
),
query_2 as (
SELECT processing_function(columns)
from A)
SELECT * from query_2

Я вызываю этот запрос через Python и указываю таблицу назначения в конфигурации задания запроса.

В упомянутой таблице Table_A содержится около 2 ТБ данных в день, и я зацикливаюсь эта операция на 10 дней. После обработки всего 1 дня данных BigQuery выдал следующую ошибку

403 Превышена квота: превышено квота вашего использования для ExtractBytesPerDay. Для получения дополнительной информации см. https://cloud.google.com/bigquery/troubleshooting-errors

Я проверил квоту, и она увеличивает установленный лимит квоты в 10 ТБ, но я не могу понять, что такое квота ExtractBytesPerDay. Я могу увеличить лимит квоты, но я бы хотел оценить, насколько мне нужно его увеличить.

Поэтому было бы полезно любое направление, в котором операции учитывают эту квоту. Кто-нибудь знает, что означает квота ExtractBytesPerDay ??

Answer 1

Ваша квота, по-видимому, связана с Экспортом данных из BQ , которые извлекают данные в место назначения, такое как облачное хранилище.

Вы должны знать, что существует новый API под названием BigQuery API хранилища , который может помочь уменьшить проблему с квотами.

В случае, если это вам не поможет, вы можете обратиться в службу поддержки Google Cloud Platform , чтобы получить более подробную информацию и узнать, как устранить ошибку.