Elasti c Поиск - Дизайн MultiLog

Question

мы пытаемся внедрить новую систему регистрации для нашего устройства IoT, различные приложения в облаке (api, spa, et c). Мы пытаемся спроектировать «Схему», чтобы она была максимально эффективной, и мы чувствуем, что есть много хороших решений, но трудно выбрать одно.

Вот общая структура: под узлом устройств мы имеем наши 3 различных вида устройств IoT и аналогичные для инфраструктуры: различные приложения и многое другое. Итак, мы думали о создании одного индекса для каждого синего круга и создании иерархического наименования с нашими индексами, чтобы мы могли использовать подстановочный знак при выполнении поиска.

Например:

• журналы-устройства-модули
• журналы-устройства-края
• журналы-устройства-модули
• logs-infra-api
• logs-infra-portal

А для отображения у нас есть разные типы журналов в каждом индексе, и мы должны отображать только общее поле или все? Должны ли мы отображать общее поле и разрешить динамическое отображение c для особенностей типа журналов?

Пожалуйста, поделитесь своим мнением и советами, если у вас есть!

Ty.

Answer 1

Я бы обычно отображал все в ECS , поскольку Kibana знает значение многих полей и сопоставляет их с другими входными данными.

Сколько у вас данных и насколько ваши поля различны ? Если у вас не слишком много данных (у каждого осколка должно быть> 10 ГБ - лучше всего управлять с помощью Rollover / ILM) и менее 100 полей, я бы go выделил один индекс и добавил бы поле с разными именами. , так что вы можете легко отфильтровать это. Хотя разные длины хранения данных будут благоприятствовать нескольким индексам, вам придется выбрать правильный компромисс для вашей системы.