Потерянные данные в bigquery

Question

Я создал скрипт Python 3 для обработки некоторых CSV-файлов, но у меня проблема с данными.

Я отправляю в поток с помощью функции insert_rows , если я импортирую только один файл, у меня совпадают строки в CSV и BigQuery, но когда я импортирую больше файлов, потерянные строки BigQuery относятся к файлу CSV , но insert_rows не возвращает ошибок.

errors = connection.client.insert_rows(table_ref, info, selected_fields=schema)  # API request

Спасибо за помощь

Answer 1

Проблема была устранена путем добавления нового уникального столбца в файл CSV с использованием этой стандартной библиотеки Python для создания нового столбца и добавления во все строки уникального идентификатора.