Расщепление большого крона на несколько меньших крон - PullRequest
0 голосов
/ 12 мая 2019

В моем mongodb много документов, которые нужно обработать в 23:00, и как только они будут обработаны, их нужно будет обновить.Итак, пишется cron, который выбирает эти документы по дате и времени.Но, чтобы увеличить масштаб, появятся тысячи документов, которые нужно будет обработать.Мы думали разбить крон на 4 меньших крон.Но здесь проблема заключалась в том, что если для обработки и обновления в течение одного дня требуется 2000 документов, то мы должны обрабатывать их 500 одновременно, но где мы храним значение 500 в течение одного дня?Эффективно ли разделять этот крон?если это эффективно, как я могу разделить их?PS Хотя обработка может выполняться в параллельных потоках, обновление документов должно выполняться синхронно из-за конфликта чтения-записи базы данных.

...