Получить имя файла с ошибкой при загрузке подстановочного пути

Question

Мое задание загрузки загружает "папка \ *" в bigquery,

Мой абонент ниже, есть ли поле в load_job, я могу извлечь файлы сбоев?

load_job = client.load_table_from_uri(
    ["gs://{}/{}*".format(table["project_id"], p) for p in data["prefixes"]],
    dataset_ref.table(table_id),
    job_config=job_config,
    job_id_prefix="direct_{}_{}".format(table["schema"], 
table["table"]),
)  # API request

Answer 1

BigQuery поддерживает подход «все или ничего» при загрузке данных, т. Е. Он либо загрузит все данные, присутствующие в ваших входных файлах, либо ничего не загрузит в случае ошибки. Так как вы используете подстановочный знак для загрузки нескольких файлов, даже еслион сталкивается с ошибкой загрузки определенного файла, он не загружает никакие данные.

Возможно, вы захотите настроить разные задания загрузки для разных файлов для достижения вашей цели

Дополнительные ссылки

Загрузка квот на работу