Можно ли изменить операцию вставки MongoDB? - PullRequest
0 голосов
/ 13 июня 2018

Интересно, есть ли возможность изменить размер пакета по умолчанию для документа 1000 при использовании операции InsertBatch из WriteMongoCollectionProxy.

Я создаю IEnumerable с примерно 1-2 миллионами объектов и пытаюсь сохранитьЭто происходит быстро в MongoDB без использования метода InsertBatch.

>     var concern = Collection.GetWriteMongoCollection().InsertBatch(entityList);
>     if (!concern.Any(x => x.HasLastErrorMessage && !x.HasLastErrorMessage))
>     {
>         return true;
>     }
>     return false;

Моя проблема в том, что сгенерированные данные медленно сохраняются в MongoDB.Для каждых 1000 объектов это может занять 8 секунд.Попытка вставить 1.000.000 объектов стоит 8000 секунд -> 133,33 минуты.Таким образом, более 2 часов и 13 минут.

Когда я достигну количества данных о 10.000.000 объектов, мне потребуется более 22 часов для сохранения объектов в MongoDB.Это будет слишком долго ... Есть ли возможность улучшить это?

Я уже проверил параметры документации MongoDB, но мне не удалось найти что-то полезное.Любые предложения или идеи, как изменить это ограничение и сохранить данные быстрее?

С этим вопросом я обращаюсь к: Что такое максимальный размер пакетной операции MongoDB?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...