Загрузка CSV-файлов с Google Диска в BigQuery

Question

Я бы хотел, чтобы мои данные CSV с Google Drive были полностью загружены в Bigquery, как в нативной таблице. Однако опция «Тип таблицы» недоступна, когда я хочу загрузить свои данные, у меня нет другого выбора, кроме как использовать параметр «Внешняя таблица».

Это действительно неудобно, так как объем данных, которые я получу в будущем, станет слишком важным для дискового хранилища.

У меня вопрос: возможно ли загрузить файл CSV из Drive в BigQuery как собственную таблицу, или мне нужно использовать Google Storage между ними, что делает процесс еще более сложным, чем он есть сейчас?

Answer 1

1. Создать внешнюю таблицу файлов на диске.
2. Запустить запрос вида CREATE TABLE dataset.NewTable AS SELECT * FROM dataset.ExternalTable. Теперь у вас есть содержимое файла в таблице, управляемой BigQuery, без необходимости копирования в облачное хранилище.