Допустим, у меня есть несколько веб-серверов, каждый из которых обслуживает 100 запросов / с, и я хочу видеть статистику в реальном времени, например:
- Частота запросов за последние 5 с, 60 с, 5 мин и т. Д.
- Количество уникальных пользователей, увиденных снова за временное окно
Или, вообще, для группы событий с метками времени, я хочу видеть производную статистику в реальном времени - как лучше всего это сделать?
Я рассмотрел вопрос о том, чтобы каждый запрос GET где-то обновлял глобальный счетчик, а затем выполнял выборку с различными интервалами, но, как я вижу, с учетом частоты событий трудно получить достаточно быстрый распределенный счетчик.
Любые идеи приветствуются!
Добавлено: Серверы Linux работают под управлением Apache / mod_wsgi со стеком Python (Django).Добавлено: чтобы дать представление о скорости событий, для которых я хочу отслеживать статистику, они идут со скоростью более 10 000 событий / с.Даже увеличение распределенного счетчика с такой скоростью является проблемой.