Как обрабатывать документы mongodb с N экземплярами приложений параллельно без дублирования? - PullRequest
0 голосов
/ 20 июня 2019

Я планирую приложение, которое может работать в нескольких экземплярах с целью обработки документов из mongodb.Например, каждый экземпляр приложения будет читать 1000 документов, а затем обрабатывать их и записывать в другое место.Эти экземпляры должны работать параллельно для повышения производительности.Как предотвратить многократное чтение / обработку одних и тех же документов?Каков наилучший подход?Это единственный экземпляр mongodb версии 3.4

Я не могу использовать очереди или другие технологии, мне нужно использовать mongodb.

Я думал о том, чтобы пометить записи, которые в данный момент обрабатываются, но обновление будетне быть атомным и, следовательно, это не решит проблему.(Я думаю)

Может быть, я мог бы заблокировать коллекцию вручную при обновлении флагов и разблокировать ее?

Ожидаемый результат: N экземпляров запущенного приложения и каждый экземпляр читает разные документы.Каждый документ должен быть обработан только один раз.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...