BigQuery очень медленная загрузка CSV - PullRequest
0 голосов
/ 01 марта 2019

BigQuery неожиданно замедлился 2019-02-26 16:00 UTC примерно в 10 раз, чтобы загрузка CSV заменила существующую таблицу через API.

Что вызвало бы это внезапное увеличение времени загрузки?То, что раньше занимало 30 минут, теперь занимает 6 часов.

1 Ответ

0 голосов
/ 01 марта 2019

Поскольку ваш вопрос носит общий характер, позвольте мне дать вам несколько советов о том, как продолжить.
План выполнения можно найти в веб-интерфейсе рядом с результатами или в журнале заданий на левой верхней панели. См. Изображениениже о том, как открыть план выполнения запроса.

Важные примечания:

  1. Вы видите 4 цветовых этапа, которые показывают время выполнения, если этап ожидания окрашен и не окрашен в серый цветэто означает, что вы ожидаете ресурс
  2. вывод фазы является входом 2-й фазы, так что, если ваш вывод большой, это может означать, что следующий шаг усердно завершается.вокруг этого, который можно описать по конкретному вопросу

enter image description here

Вы также можете расширить шаг и увидеть более интересные детали, такие как: перемешивание, трансляция, сортировка и т. Д., Которые могут помочь вам получить больше информации о том, что происходит под капотом

enter image description here

Это BigQuery URL с более подробной информацией о плане выполнения (см. Job.get API, чтобы получить этот план выполнения через API) Это BigQuery Limit информация
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...