Я использую клиентские библиотеки BigQuery для выполнения ETL данных jpb, а затем загружаю данные обратно в BigQuery.
Я хотел бы перезаписывать таблицу назначения каждый раз, но в настоящее времямой код добавляет новые данные в таблицу при каждом запуске.Я прочитал документацию по job_config, и я использовал это, чтобы установить параметры для запросов, но я не могу понять, как установить расположение записи для запроса.
Вот что я пробовал такfar:
roc_df = pd.DataFrame(roc_score)
job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE
dataset_ref = client.dataset('Customers')
table_ref = dataset_ref.table('propensity_scores_test')
client.load_table_from_dataframe(roc_df, table_ref, job_config=job_config).result()
И я также попробовал этот формат:
query_config = bigquery.QueryJobConfig(
query_parameters=[
bigquery.job.WriteDisposition('WRITE_TRUNCATE')
]
)
Но оба в настоящее время возвращают ошибку:
BadRequest: 400 POST https://www.googleapis.com/upload/bigquery/v2/projects/my_project/jobs?uploadType=resumable: Обязательный параметр отсутствует
Как я могу записывать свои данные и заменять таблицу каждый раз?