Почему у меня есть задержка между «createTime» и «startTime», и как уменьшить задержку запроса BigQuery?

Question

При анализе журналов аудита BigQuery я вижу 2 следующих поля:

• protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.createTime

• protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime

В рабочее время я хотел бы гарантировать, что на некоторые запросы, инициированные Tableau, будут даны быстрые ответы, чтобы обеспечить наилучшееопыт наших бизнес-пользователей.
Именно поэтому я хотел бы максимально уменьшить задержку (разницу между «createTime» и «startTime») для «интерактивных» запросов.

В настоящее время задержкамежду «createTime» и «startTime» в среднем 600 мс.
Но это может быть больше 10 секунд или даже 20, что намного больше, чем время ответа на запрос, которое мы хотели бы иметь.

В чем причина задержки между «createTime» и «startTime»"?
Это из-за времени компиляции (генерации плана запроса)?
Или из-за того, что слоты в BigQuery недоступны?
Или что-то еще?

У кого-нибудь есть указатель на то, как уменьшить эту задержку?
Я посмотрел документацию BigQuery, но, похоже, даются рекомендации только по сокращению времени выполнения, а не этого "предварительного" времени выполнения.

Answer 1

Я думаю, что немногие из факторов, которые замедляют переход из состояния PENDING (createTime) в состояние RUNNING (startTime) задания BQ, являются

• Concurrent rate limit for on-demand, interactive queries - 50 одновременных запросов
  Этот лимит применяется на уровне проекта.Чтобы повысить лимит, свяжитесь со службой поддержки или отделом продаж
  Или распределите пользователей по нескольким проектам выставления счетов на основе отдела или команды или чего-то еще
  и

• Доступные слоты - Maximum concurrent slots per project for on-demand pricing - 2000
  Если вам нужно более 2000 слотов, рассмотрите фиксированную цену
  И, тем не менее, вы можете распределить пользователей по различным биллинговым проектам