Превышены пределы скорости: слишком много операций обновления таблицы для этого сообщения таблицы при использовании драйвера simba jdb c - PullRequest
1 голос
/ 07 мая 2020

Я использую драйвер Simba Jdb c версии 1.2.2.1004 для последовательной вставки 6 строк данных в таблицу BigQuery. В таблице всего 3 столбца. После 4 вставок я вижу:

Причина: com.simba.googlebigquery.support.exceptions.GeneralException: [Simba] BigQueryJDBCDriver Ошибка при выполнении задания запроса. Сообщение: Превышены пределы скорости: слишком много операций обновления таблицы для этой таблицы. Для получения дополнительной информации см. https://cloud.google.com/bigquery/troubleshooting-errors

Я просмотрел квоты на стороне Google, но ни одна из них не была достигнута. Если я задросселирую вставки, все строки будут вставлены, так что это не дневной лимит, кажется, это количество вставок в секунду, но оно должно быть не менее 10 в соответствии с моей квотой ...

I также создали тестовый класс, который вводит те же значения с помощью API Google, который отлично работает ..

1 Ответ

1 голос
/ 08 мая 2020

Вы достигли этой квоты, 5 операций / 10 с. Итак, ограничение скорости может помочь.

Если возможно, попробуйте сгруппировать более мелкие обновления в большие, чтобы избежать этой квоты.

https://cloud.google.com/bigquery/quotas#standard_tables

Максимальная скорость операций обновления метаданных таблицы - 5 операций каждые 10 секунд на таблицу

Лимит обновления метаданных таблицы включает все операции обновления метаданных, выполняемые с помощью Cloud Console, classi c Веб-интерфейс BigQuery , инструмент командной строки bq, клиентские библиотеки, вызывая методы API tables.insert, tables.patch или tables.update или выполняя операторы ALTER TABLE DDL. Это ограничение также распространяется на вывод задания.

...