Мне нужно извлекать и обрабатывать около 200 тыс. Документов из одной коллекции каждый день в пакетном режиме (я пытался загрузить все в списке, но это была плохая идея).Все, что мне нужно сделать, это получить документы, извлечь записи и сохранить в текстовом файле локально.Я пытаюсь это:
var options = new FindOptions
{
BatchSize = mySize
};
using (var cursor = collection.Find(filter,
options).ToCursor())
{
while (cursor.MoveNext())
{
var batch = cursor.Current.ToList();
// my extraction logic
}
}
Мне кажется, это работает, я пытаюсь узнать, как я могу запустить пакеты в нескольких задачах или на уровне экземпляра для повышения производительности.Кроме того, есть ли лучшие способы загрузки и обработки документов, кроме использования курсора?