Массовая вставка с использованием монго через Lambda timeout и вставка данных 3 раза - PullRequest
0 голосов
/ 25 июня 2018

Нам нужно вставить данные в монго из S3.Мы написали лямбда-функцию, которая просто читает файл из S3 (JSON File) и, используя Mongoose, просто выполняет InsertMany.Когда мы выполняем эту лямбду.Наша вставка mongodb занимает около 7-10 минут для записи 10K.Мне нужна помощь по следующим вопросам:

  • Улучшение монго-вставки, чтобы мы могли вставлять 20 тыс. Записей <5 минут, чтобы избежать лямбда-тайм-аута </li>

Я уже использую Ordered: False для ускорения вставки вмонго

1 Ответ

0 голосов
/ 26 июня 2018

Использование нативного клиента mongoDB вместо Mongoose решает проблему.Похоже, InsertMany работает лучше с родным mongoDB по сравнению с mongoose

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...