Как составить список запросов, выполненных BigQuery до или после даты?

Question

После интенсивного использования BigQuery мне нужно было искать запрос, выполненный неделями go в истории запросов, но он не появлялся, потому что был достигнут максимальный предел запросов, которые может отображать история. Есть ли способ вывести список выполненных запросов за промежуток времени?

Answer 1

Вы можете просмотреть все выполненные запросы, используя Cloud Shell GCP. Найдите его в правом верхнем меню со значком терминала.

Затем в оболочке выполните следующую команду, чтобы вывести список последних 1000 выполнений (100 000 - это макс. предел)

bq ls -j -all -n 1000

Если вам нужно просмотреть запросы после или до даты, вам нужно преобразовать дату в миллисекунды и использовать эти команды

bq ls -j --max_creation_time <YOUR_DATE_IN_MILISECONDS> -n <NUMBER_OF_QUERIES>

bq ls -j --max_creation_time 1587610800000 -n 10000

bq ls -j --min_creation_time 1587614400000 -n 10000

Ссылка https://cloud.google.com/bigquery/docs/reference/bq-cli-reference

Answer 2

С помощью INFORMATION_SCHEMA для заданий вы можете найти свой старый запрос с запросом!

SELECT query
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_USER
WHERE
 job_type = "QUERY"
 AND end_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 14 DAY) AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)

Еще лучше, если вы примерно помните часть текста вашего запроса, вы можете искать с помощью Как, тогда вам не нужен фильтр даты:

...
WHERE query LIKE '%HeyMyKeyword%'