Я использую Django с Python 2.7. У меня лист Excel с миллионами строк. Я должен манипулировать данными строк и сохранять обратно в базу данных (postgresql). Я хочу сделать это эффективно. Ниже приведены подходы, о которых я думаю:
1.) Ставит в очередь все строки (данные) в очереди (предпочтительно RabbitMQ) и извлекает сразу из 100 записей. и выполнит и
сохранит его в базе данных.
2.) Думать об использовании потока в фоновом режиме, который будет управлять 100 строками для каждого потока и сохранит результат в базе данных. я не
убедитесь, сколько соединений с базой данных будет открыто в этом сценарии.
Можете ли вы предложить мне эффективный способ достижения этого. это будет действительно очень полезно.
Как реализовать логику отмены и паузы в этом сценарии? я должен использовать базу данных?