.Net - Как обрабатывать большое количество документов MongoDB в параллельных пакетах или в нескольких экземплярах - PullRequest
0 голосов
/ 25 мая 2018

Мне нужно извлекать и обрабатывать около 200 тыс. Документов из одной коллекции каждый день в пакетном режиме (я пытался загрузить все в списке, но это была плохая идея).Все, что мне нужно сделать, это получить документы, извлечь записи и сохранить в текстовом файле локально.Я пытаюсь это:

var options = new FindOptions
{                   
    BatchSize = mySize
};
using (var cursor = collection.Find(filter, 
       options).ToCursor())
{                   
    while (cursor.MoveNext())
    {
        var batch = cursor.Current.ToList();
        // my extraction logic
    }
}

Мне кажется, это работает, я пытаюсь узнать, как я могу запустить пакеты в нескольких задачах или на уровне экземпляра для повышения производительности.Кроме того, есть ли лучшие способы загрузки и обработки документов, кроме использования курсора?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...