Потоковая передача большого CSV-файла в базу данных mongoDB с помощью mongoose

Question

Поиск эффективного и быстрого способа потоковой передачи больших (10 миллионов строк) данных CSV в базу данных Mongoose.

Возникающие проблемы связаны с потоковой передачей, а не с импортом, который может быть решен с помощью fs.createReadStream (хотя все еще изучает, как его использовать) и как справляться со вставкой такого большого объема данных в mongoDB с помощью mongoose, поскольку перегрузка mongoose / mongo запросами на вставку может привести к некоторым ошибкам.

Answer 1

есть метод insertMany () в mongoose. но это только позволяет вам вставлять 10 000 документов только за один раз, поэтому ... Мое решение состоит в том, чтобы вы асинхронно зацикливались, используя этот метод, и вставляли до завершения потока ..