Самый эффективный способ получить размер результата запроса ~ 100 МБ в BigQuery

Question

Использование jobs.query имеет ограничение 10MB byteSize, поэтому мне приходится разбивать на страницы / запрашивать 10 раз, чтобы получить 100MB данные в BigQuery.

Я ищу способ выполнить запрос и загрузить результат (~ 100 МБ) в кратчайшие сроки. Каков будет предложенный способ сделать это?

https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query

Кроме того, есть ли способ получить результат запроса в сжатом формате (если это вообще ускорит процесс?)

Answer 1

Либо:

1. Запуск задания экспорта.Укажите сжатие gzip.Загрузите файл из GCS.

2. Используйте новый BigQuery Storage API .

Я создал запрос на функцию, которую вы можетеupvote, чтобы получить инструмент CLI для загрузки с API хранилища:

• https://issuetracker.google.com/issues/133442769