BigQuery очень медленно (на первый взгляд) очень простой запрос

Question

Мы используем журналы GCP, которые экспортируются в BigQuery с помощью приемника журналов. У нас нет большого количества журналов, но каждая запись кажется довольно большой.

Выполнение простого запроса с BigQuery отнимает много времени. Мы задаемся вопросом, нормально ли это, или мы делаем что-то не так ... И можем ли мы что-то сделать, чтобы сделать анализ более практичным ...

Например, запрос

SELECT 
        FORMAT_DATETIME("%Y-%m-%d  %H:%M:%S", DATETIME(timestamp, "Australia/Melbourne")) as Melb_time, 
        jsonPayload.lg.a, 
        jsonPayload.lg.p
FROM `XXX.webapp_usg_logs.webapp_*`
ORDER BY timestamp DESC
LIMIT 100

берет

Query complete (44.2 sec elapsed, 35.2 MB processed)

Спасибо!

Answer 1

Попробуйте добавить это к вашему запросу:

WHERE _TABLE_SUFFIX > FORMAT_DATE('%Y%m%d',  DATE_SUB(CURRENT_DATE(), INTERVAL 3 DAY))

Он будет фильтровать, чтобы получать таблицы с TABLE_SUFFIX только за последние 3 дня - вместо того, чтобы BigQuery просматривал каждую таблицу, возможно, из многих летистории.