Ответ на этот вопрос может быть очевиден для человека с большим опытом работы с хранилищами данных и бизнес-аналитикой, но я ищу некоторые рекомендации.
Я строю систему, которая использует несколько очередей JMS для обработки миллионов сообщений в день. Мне нужно видеть активность этих очередей, чтобы я мог создавать отчеты, например ... "Вчера в 11:01 сколько сообщений вошло в очередь А, в которой было слово" Foo "?"
Что еще хуже, у меня есть около 200 тыс. Слов, которые мне нужны для того, чтобы запускать этот отчет за каждую минуту каждого дня в нескольких очередях, каждая из которых обрабатывает миллионы сообщений в день.
Когда я думаю о реализации специального решения для этого, я начинаю спускаться по червоточине в яму отчаяния. Конечно, я не могу быть единственным человеком, который когда-либо сталкивался с этой проблемой раньше.
У кого-нибудь есть яркие идеи?