Каков предел одновременных запросов для потоковой вставки Google BigQuery? - PullRequest
0 голосов
/ 25 марта 2019

Каков предел одновременных запросов для потоковой вставки Google BigQuery?

Я обнаружил, что существует ограничение для API BigQuery, но оно не применяется для потоковой вставки.

Параллельных запросов API на пользователя: 300

Если вы делаете более 300 одновременных запросов на пользователя, может произойти регулирование.Это ограничение не распространяется на потоковые вставки.

1 Ответ

1 голос
/ 25 марта 2019

Ниже доступно в Ограничения потоковых вставок

Для потоковой передачи данных в BigQuery применяются следующие ограничения.

  • Максимальный размер строки : 1 МБ. Превышение этого значения приведет к недопустимым ошибкам.
  • ограничение размера HTTP-запроса : 10 МБ. Превышение этого значения приведет к недопустимым ошибкам.
  • Максимальное количество строк в секунду : 100 000 строк в секунду на проект. Превышение этой суммы приведет к ошибкам quotaExceeded. Максимальное количество строк в секунду на таблицу также составляет 100 000. Вы можете использовать всю эту квоту для одной таблицы или разделить эту квоту между несколькими таблицами в проекте.
  • Максимальное количество строк на запрос : 10000 строк на запрос. Мы рекомендуем максимум 500 строк.
    Пакетная обработка может повысить производительность и пропускную способность до определенного уровня, но за счет задержки каждого запроса. Слишком мало строк на запрос и издержки каждого запроса могут сделать использование неэффективным. Слишком много строк на запрос, и пропускная способность может снизиться.
  • Максимальное количество байтов в секунду : 100 МБ в секунду на таблицу. Превышение этой суммы приведет к ошибкам quotaExceeded.

Я думаю, что все вместе устанавливает некие ограничения параллелизма

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...