Я использую специальный агрегатор с хранилищем сообщений mon go, чтобы агрегировать все сообщения, которые обрабатываются через мой поток. Это сделано для того, чтобы я мог указать, что моя партия завершена, и указать внешнюю систему, чтобы начать ее обработку. Объем сообщений довольно большой (порядка от 200К до 300К сообщений). Я переключился на MongoMessageStore из SimpleMessageStore, так как реализация SimpleMessageStore использовалась для быстрого исчерпания памяти после сообщений 50k или 60k.
Проблема, с которой я сейчас сталкиваюсь, заключается в том, что MongoStore не так быстр, и для хранения всех сообщений требуется дополнительное время. , Это вызывает задержки партии. Есть ли шаблон или способ, которым я мог бы иметь масштабируемый агрегатор? Масштабирование требует управления государством. Как мне управлять состоянием между несколькими экземплярами агрегатора. или есть лучший способ быстро хранить сообщения?