Должны ли журналы, показатели и аналитика храниться в одном озере данных или храниться отдельно?

Question

Справочная информация:

Я настраиваю свой первый эластичный стек, и пока я начну с простого, я хочу убедиться, что я начинаю с хорошей архитектуры. В конечном итоге мне бы хотелось иметь решение для следующих задач: метрики хостинга, журналы сервера (expressjs APM), мониторинг одностраничных приложений (агент APM RUM js), метрики Redis, метрики MongoDB и пользовательская аналитика событий (например, продажа, клиент отменен) и т. д.).

Вопрос:

Должен ли я хранить все это в одном кластере Elasticsearch и использовать поиск, чтобы отфильтровать различные случаи, ИЛИ я создать отдельный экземпляр для каждого и оставить их четко определенными для их ролей.

(я бы предпочел одно озеро данных)

Answer 1

Для случая использования журнала:

• вы можете сохранить все журналы на общем файловом ресурсе, прежде чем загружать их в любое поисковое решение, чтобы при необходимости можно было повторно загружать их
• после хранения вы можете загружать их в один кластер с разными индексами или в несколько кластеров по своему выбору, но это зависит от объема данных
• если размер и вычисления каждого оправдывают отдельный кластер ES, тогда сделайте это, иначе используйте один кластер с отказоустойчивым кластером

Для метрик:

• вы можете напрямую загружать их в один кластер с разными шаблонами индекса
• если требования к размеру и вычислениям только что созданы, создать отдельные кластеры
• при необходимости создать отказоустойчивый / резервный кластер

В обоих случаях вам также необходимо сохранить снимки кластера.

Я лично рекомендую ELK для случая использования ведения журнала и Promethous для метрик.

Отчетность / Аналитика:

Для некоторых случаев использования, таких как отчеты / аналитика на ежемесячной и ежегодной основе, данные журнала будут огромными, и вам нужно будет ввести данные из общего файлового ресурса в hadoop, чтобы суммировать их / свернуть на основе некоторых полей, и затем, добавив сокращенные данные в ELK, это может уменьшить размер и вычислить требования на коэффициент 1000.