BigQuery: Как загрузить файл из GCS в существующую таблицу с помощью API передачи?

Question

В потоке воздуха я хочу загрузить файлы из GCS в существующую таблицу BigQuery. Есть оператор, который делает это GoogleCloudStorageToBigQueryOperator, который, кажется, каждый раз создает новую таблицу. Если я укажу существующую таблицу, она выдаст ошибку. Как я могу настроить его так, чтобы я мог загрузить в существующие таблицы?

Answer 1

Эта проблема обычно возникает, когда вы не устанавливаете свойство write_disposition = "WRITE_APPEND". Например, в приведенном ниже коде CSV загружается с GCS до BigQuery. Если вы удалите упомянутый атрибут, таблица будет создаваться заново при каждом запуске кода.

run = GoogleCloudStorageToBigQueryOperator(
    bucket = "<bucket>",
    source_objects = ['gcs_to_bigquery/file.csv'],
    source_format = "CSV",
    field_delimiter = ",",
    skip_leading_rows = 1,
    destination_project_dataset_table = "<project>.<dataset>.gcs_composer_bq",
    task_id = 'xxxxxxxx',
    write_disposition = "WRITE_APPEND"
)

Здесь вы можете найти все существующие атрибуты для этого оператора здесь