Извлечение результатов запроса из Google BigQuery в AWS s3

Question

Я проверяю, есть ли лучший способ выполнить запрос в Google BigQuery и экспортировать результат в AWS S3.Прочитав немного об этом, я увидел, что есть способ выполнить следующие шаги:

• Экспорт результата запроса во внешнюю таблицу
• Переместить созданную таблицу в Google Cloud Storage
• Переместите файлы из Google Cloud Storage в AWS S3

Но у меня вопрос, есть ли способ избежать создания внешней таблицы и просто перенести результат запроса в GCS?Есть ли другой умный / правильный способ сделать то же самое?

Спасибо за вашу помощь.

Answer 1

Экспорт результата запроса (пока?) Не поддерживается в BigQuery - поэтому для вас есть только первый способ материализации результата (это то, что вы называете результатом запроса экспорта во внешнюю таблицу).

Еще один потенциальный способ - использовать BQ API и читать таблицу, используя tabledata.list - API ref - поэтому, если, скажем, результат вашего запроса небольшой (МБ), это может быть более простым способом перемещения данных.Но даже в этом случае вам нужно материализовать результат в новой таблице - но нет необходимости экспортировать в GCS.