10 000 запросов в секунду postgres - PullRequest
0 голосов
/ 19 апреля 2020

У меня есть рабочее приложение Spring, которое получает сообщения от Rabbitmq с параллелизмом 50, и это сообщение, приложение Spring проверяет переменные в БД и с сообщением и вставляет новые результаты различия в БД (для одного сообщения, чтобы получить разницу , мы отправляем около 5-20 запросов «выборки», 1–5 вставок, 1–5 обновлений в БД).

Теперь проблема заключается в том, что весеннее рабочее приложение очень медленно загружается в БД при настройке параллелизма до 200. (200k сообщений вставлено около двух дней).

И кроме этого, у меня есть еще одно весеннее приложение для мониторинга. И все работает очень медленно, Db, приложение для рабочих, приложение для мониторинга.

Как я могу сделать это быстро и оптимизировать. Должен ли я использовать кластер Postgres? Или я могу реализовать его по-другому.

Мой Postgres сервер (Intel Xeon 10 ядер, 60 ГБ оперативной памяти, 1,6 ТБ SSD)

1 Ответ

1 голос
/ 19 апреля 2020

Вы можете использовать общий кеш, загружать данные при запуске приложения, обновлять кеш в случае операции обновления / создания. Получить из кэша все, что вы хотите, не нужно go в БД

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...