Rabbit-mq лучшая архитектура для улучшения времени обработки 1 миллиона записей - PullRequest
0 голосов
/ 24 октября 2018

Теперь я помещаю 1 миллион записей в очередь для обработки.В моем слушателе я получаю сообщения и выполняю бизнес-логику ниже.Я также настроил setMaxConcurrentConsumers (600) для параллельной обработки. Бизнес-логика: После получения сообщения я делаю некоторый вызов restApi (этот API-интерфейс размещен на нескольких серверах с балансировщиком нагрузки для обработки трафика) и при получении хранилища ответов на Db.Но, увидев приборную панель 0.8 / секунду, мы обрабатываем.Прикрепленный снимок экрана.Но при таких показателях обработка 1 миллиона записей займет много времени.

Подскажите, пожалуйста, какие можно предположить изменения, которые я могу сделать с точки зрения кода / архитектуры, чтобы достичь 1M записей / 30 минут или 1M / 1 час.enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...