Я пытаюсь перенести огромное количество данных из BigQuery в MongoDB. У моего BigQuery есть 16,5 ГБ данных в день.
В настоящее время мой подход таков:
bq = bigquery.Client()
query_job = bq.query(sql)
results = query_job.result()
documents = []
for row in results:
for i in row:
documents.append(json.loads(i))
Но этот подход вызывает cra sh (использование ОЗУ (70 ГБ)). Поэтому я загружаю это в список и перезагружаю в многопроцессорную систему в MongoDB.
Мне интересно, есть ли способ: 1. загрузка быстрее? 2. загрузка при одновременной загрузке в MongoDB?
Спасибо