Можно ли написать / запустить BigQuery на паркетных файлах на AWS S3?

Question

Мы хотим проверить производительность BigQuery на внешних паркетных файлах магазина. Эти паркетные файлы хранятся на AWS S3. Без передачи файлов в GCP, можно написать BigQuery, который может работать на AWS наборе данных паркетных файлов S3.

Answer 1

Вы можете использовать Службу передачи данных BigQuery для Amazon S3 , которая позволяет автоматически планировать и управлять повторяющимися загрузками заданий из Amazon S3 в BigQuery и позволяет загружать данные в формате Parquet. В этой ссылке вы найдете документацию по настройке передачи данных Amazon S3.

Answer 2

Нет, это невозможно. BigQuery поддерживает «внешние таблицы», в которых данные существуют в виде файлов в Google Cloud Storage , но не поддерживается другое облачное хранилище файлов, включая AWS S3.

. Вам нужно будет либо скопировать / переместите файлы из S3 в облачное хранилище, а затем используйте для них BigQuery или используйте аналогичный сервис AWS, например Athena, для запроса файлов на месте на S3.