Могу ли я добавить CSV в существующую таблицу BiqQuery без схемы?

Question

Когда у меня есть таблица в BigQuery, и я хочу добавить к ней дополнительные данные CSV с помощью bq load, могу ли я сделать это без указания схемы?

Если нет, самый простой способ получить схему с помощью

$ bq show --format=prettyjson <table>

и bq load с использованием схемы?

Я думаю, что этот путь слишком длинный, потому что BQ уже знает схему.Есть ли более простые способы добавления данных?

Answer 1

Да, вы можете.

Это один из моих ленивых скриптов загрузки данных, например:

bq query --destination_table=dataset.new_table \
 'SELECT * FROM [dataset.old_table] LIMIT 0'     
bq load dataset.new_table gs://my/new_file.csv

Шаг 1 создает новую таблицу с той же схемой, что и существующая таблица (LIMIT 0 выполняет только копированиесхема).

Шаг 2 загружает в нее данные, и поскольку таблица уже существует, нет необходимости устанавливать схему.

Если вы пропустите шаг 1 - он добавится к любому существующемутаблица.