Ограничение размера полезной нагрузки Google BigQuery в 10485760 байт

Question

Мы столкнулись с ошибкой при попытке потоковой передачи данных в таблицу больших запросов, которая гласит: ограничение размера полезной нагрузки в 10485760 байт, кто-нибудь знает об этом? По словам стороннего поставщика интеграции, который мы используем для перемещения данных с sql сервера в таблицу bigquery, они посоветовали, что это проблема bigquery?

Спасибо. С уважением,

Answer 1

BigQuery имеет некоторые максимальные ограничения, а также имеет некоторые политики квот, как вы можете видеть здесь .

Ограничения для потоковой передачи:

• Если вы не заполняете поле insertId при вставке строк:

  • Максимальное количество строк в секунду: 1 000 000
    
  • Максимальное число байтов в секунду: 1 ГБ

• Если вы заполняете поле insertId при вставке строк:

  • Максимальное число строк в секунду: 100 000
  • Максимальное количество байт в секунду : 100 МБ

• Следующие дополнительные потоковые квоты применяются независимо от того, заполняете ли вы поле insertId:

  • Максимальный размер строки: 1 МБ
  • ограничение размера HTTP-запроса: 10 МБ
  • Максимальное количество строк на запрос: 10 000 строк на запрос
  • длина поля insertId: 128

Надеюсь, это поможет

Answer 2

Действительно, ограничение потоковой передачи составляет 10 МБ на запрос.

Размер строки составляет 1 МБ в соответствии с https://cloud.google.com/bigquery/quotas

Вам необходимо распараллелить потоковые задания. BigQuery поддерживает до 1M / строк в секунду.