Как отладка определенного SQL иногда приводит к BigQuery "Время ожидания истекло. Пожалуйста, повторите попытку" - PullRequest
0 голосов
/ 29 мая 2018

За последнюю неделю или около того подмножество (одна цифра из тысячи в день) SQL-запросов, которые мы отправляем в BigQuery в интерактивном режиме, начинало занимать часы, а не секунды.SQL для заданий с тайм-аутом оказался в очень специфических случаях.Мне удалось воспроизвести поведение этих двух заданий из консоли BigQuery:

Рабочий вызов (выполняется за 5 секунд):

Job ID  bluecore-qa:US.bquijob_4e0e4662_1639a278fcf
Creation Time   May 25, 2018, 9:54:34 PM
Start Time  May 25, 2018, 9:54:34 PM
End Time    May 25, 2018, 9:54:39 PM
Bytes Processed 176 MB
Bytes Billed    177 MB
Slot Time (ms)  271 K

Точно такой же SQL (выполнялся менее чем заминутой позже), который истек через 6 часов:

Job ID  bluecore-qa:US.bquijob_57c799e2_1639a2852fa
Creation Time   May 25, 2018, 9:55:24 PM
Start Time  May 25, 2018, 9:55:24 PM
Query Priority  Interactive

Job Type    State      Start Time      Duration       User Email       Bytes Processed   Bytes Billed   Billing Tier   Labels
---------- --------- ----------------- ---------- --------------------- ----------------- -------------- -------------- --------
query      FAILURE   25 May 21:55:24   5:59:45    xxxxx
Error encountered during job execution:
Request timed out. Please try again.

Обратите внимание, что SQL действительно использует «IGNORE CASE», что было проблематично для нас в прошлом (но обычно приводило к случаю «внутренней ошибки»).

Есть ли способ получить больше информации о задании, чтобы увидеть, было ли второе задание перенесено в очередь планирования BigQuery?(Согласно статистике BigQuery StackDriver мы не достигли предела в 2000 слотов для нашего проекта).

Ответы [ 2 ]

0 голосов
/ 31 мая 2018

Это проблема Google BigQuery.Они работают над исправлением и обновят https://issuetracker.google.com/issues/80407917, как только это выйдет.

0 голосов
/ 30 мая 2018

В BigQuery задания никогда не возвращаются в очередь планирования BigQuery (даже в потоковом и интерактивном режимах).

Вы можете использовать Журналы аудита , чтобы получить более подробную информацию о тайм-аутах.В настоящее время ведение журнала аудита является единственной альтернативой для Stackdriver.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...