Google BigQuery BQ загрузить для определенных столбцов?

Question

У меня есть набор данных .orc файлов. Я использую CLI для загрузки своих данных в BQ с помощью команды bq load в утилитах gcloud. Мои данные имеют 4 столбца. Третий столбец дублирует 4-й, но я бы хотел сохранить 4-й столбец. Есть ли способ принимать только определенные столбцы с bq load из orc файлами?

Answer 1

Чтобы принять только некоторые столбцы, вы можете указать столбцы в конце команды:

bq load --source_format=ORC DATASET.TABLE gs://YOU-FILES_LOCATION COLUMN1:TYPE, COLUMN2:TYPE, ...

Допустим, два сценария ios:

1. В первом В сценарии у вас нет таблицы в BigQuery, и вы хотите загрузить только некоторые поля вашего ORC файла. Если вы выполните команду выше, указав некоторые поля, будет создана таблица только с этими полями.
2. Во втором сценарии у вас уже есть таблица в BigQuery с полями NULLABLE. В этом случае, если вы запустите указанную выше команду, указав поля, вы загрузите только те поля ваших данных в таблицу, а остальные поля будут NULL для этих строк.

Пожалуйста, Я знаю, если это поможет вам с вашей проблемой.