Я пытался добавить локальный jsonlines файл jl в таблицу t2. Тем не менее, большой запрос добавил ровно половину числа строк от jl до t2. Я имею в виду, что в jl есть 935,094 строки, но только 467,547 из них передано. Интересно, есть ли такие ограничения при добавлении локального файла в таблицу.
Вот мой фрагмент кода:
def append_local_file_to_table(self,file_path,dataset_id,existing_table):
table_ref=self.client.dataset(dataset_id).table(existing_table)
load_job_config=bigquery.LoadJobConfig()
load_job_config.write_disposition=bigquery.WriteDisposition.WRITE_APPEND
load_job_config.source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
with open(file_path,'rb') as jl:
load_job=self.client.load_table_from_file(jl,table_ref,job_config=load_job_config)
load_job.result()