Использование CLI для загрузки данных в разделы по типам столбцов: несовместимая спецификация разделения таблиц

Question

При простой загрузке BQ нескольких CSV-файлов в новую схему с использованием этого cmd мы получаем следующую ошибку:

bq load --time_partitioning_field saved_timestamp
--skip_leading_rows=1 --max_bad_records=100 --allow_jagged_rows 
--replace --source_format=CSV --ignore_unknown_values  TABLE gs://.../export*.gz schema.json

Несовместимая спецификация разбиения таблиц. Ожидает разбиение спецификация отсутствует, но входная спецификация разделения интервал (тип: день, поле: saved_timestamp)

Я ожидал бы создать столбец разделения типа столбца. Что не так?

Также можем ли мы использовать тот же синтаксис для указания кластеризации?

Answer 1

На момент написания этой статьи существует ограничение: вы не можете заменить таблицу и изменить спецификацию разделения одновременно , которая указана как ограничение операторов CREATE TABLE как хорошо . При использовании CLI BigQuery вы можете:

• Загрузить данные в новую таблицу с нужной спецификацией разделения / кластеризации,
• Бросить таблицу, предназначенную для замены (bq rm dataset.table),
• Скопируйте новую таблицу в имя старой (bq cp dataset.new_table dataset.table), затем
• Оставить новый стол (bq rm dataset.new_table).