Как сохранить показатели для моего веб-приложения?

Question

Мне нужно хранить больше метрик для моего веб-приложения.Поведение пользователя и другие условия необходимо отслеживать по времени и сравнивать.

С некоторыми записями связана временная метка, а с некоторыми нет.Таким образом, запрос по запросу для метрик может не подходить постоянно.Я думаю, что нужен снимок (ежедневно?) Определенных аналитических запросов (через cronjob?), Который я пишу и затем сохраняю где-то (DB? File?).

Прямо сейчас меня беспокоит размер этих снимков, если я собираюсь сохранить их в БД.Как это повлияет на производительность моего приложения?

Администраторы должны иметь возможность просматривать эту аналитику на веб-панели.Представьте, что вы ежедневно сохраняете состояние более 100 000 строк данных ... и затем довольно часто запрашиваете их для анализа.

Существуют ли другие хорошие подходы для хранения и просмотра метрик?Я использую стек LAMP для моего приложения.Также используется Google Analytics и другие сторонние инструменты отслеживания метрик, но этого недостаточно для отслеживания специализированной статистики для моего приложения.

Answer 1

Если это так интенсивно, я бы создал отдельную БД (возможно, на совершенно другом сервере) для снимков. Если администраторы собираются просматривать их в веб-интерфейсе, я бы, вероятно, придерживался БД. Таким образом, вы можете просто запустить моментальный снимок базовой аналитической информации, а затем создать отдельный интерфейс / приложение для дальнейшего запроса этих данных и их представления.

Как сказал Кельвин в своем комментарии, было бы неплохо привести несколько примеров данных, которые вы записываете, а также то, сколько из них, по вашему мнению, будет ежедневно. Эта информация может изменить мои мысли об этом.