BigQuery: Превышена квота на Количество модификаций разделов в таблице разделенных столбцов

Question

Я получаю эту ошибку, когда пытаюсь запустить много заданий импорта CSV в BigQuery с разделением по дате с пользовательским столбцом Timestamp.

В вашей таблице превышена квота на Количество изменений раздела втаблица столбцов с разделами

Ниже приведена полная ошибка:

{Location: "partition_modifications_per_column_partitioned_table.long"; Message: "Quota exceeded: Your table exceeded quota for Number of partition modifications to a column partitioned table. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors"; Reason: "quotaExceeded"}

Мне неясно, для чего нужна квота на Number of partition modifications?и как оно превышается?

Спасибо!

Answer 1

Если вы собираетесь часто менять данные, я настоятельно рекомендую вам удалить таблицу и просто загрузить ее снова с новыми значениями.Каждый раз, когда вы загружаете новую таблицу, вы обновляете лимит.

Answer 2

Какова квота на Количество модификаций раздела?

См. Quotas for Partitioned tables
В частности:

Максимальное количество разделов, измененных одним заданием - 2000

Каждая операция задания (запрос или загрузка) может затрагивать не более 2000 разделов.Google BigQuery отклоняет любые запросы или задания загрузки, которые затрагивают более 2000 разделов.

Максимальное количество модификаций разделов в день на таблицу - 5000

Вы можете ограничить до 5000 модификаций разделов в день для разделенной таблицы.Раздел можно изменить с помощью операции, которая добавляет или перезаписывает данные в разделе.Операции, которые изменяют разделы, включают: задание загрузки, запрос, который записывает результаты в раздел, или оператор DML (INSERT, DELETE, UPDATE или MERGE), который изменяет данные в разделе.

Вы можете увидеть более подробную информацию в ссылке выше