Как загрузить данные в bigquery из сегментов, разделенных на год / месяц / день - PullRequest
1 голос
/ 18 июня 2020

У нас есть данные, хранящиеся в ведре gcp в формате ниже - gs: /gcptest/Year=2020/Month=06/day=18/test1.parquet и так много файлов в папке day = 18. Я хочу создать таблицу в bigquery со столбцами, присутствующими в файлах и разделенными по годам, месяцам и дням, которые присутствуют в пути к файлу. Так что, когда я загружу данные в таблицу, я могу просто выбрать путь из ведра gcp и загрузить данные, которые будут разделены по значениям года / месяца / дня, присутствующим на пути

1 Ответ

1 голос
/ 18 июня 2020

BigQuery поддерживает загрузку данных с внешними секциями в форматах Avro, Parquet, OR C, CSV и JSON, которые хранятся в облачном хранилище с использованием схемы секционирования по умолчанию.

В настоящее время поддержка ограничена веб-интерфейсом BigQuery, инструментом командной строки и REST API.

Вы можете увидеть больше в Загрузка данных с внешними секциями документация
Также посмотрите, как Запросить данные с внешними секциями

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...