Fluentbit и Fluentd в стеке EFK, зачем мне использовать fluentd?

Question

Эй, ребята, может кто-нибудь объяснить мне, почему я должен использовать fluentd для агрегатора? Ниже приведена инфраструктура, над которой я работал

Fluentbit (Log Forwarder) -> Fluentd (Обработка данных и агрегатор) -> Elasticsearch -> Kibana

Извините за не показ изображения, но вы можете найти топологию, что я имею в виду здесь: https://medium.com/redbox-techblog/building-an-open-data-platform-logging-with-fluentd-and-elasticsearch-4582de868398

Хорошо, возможно, это странный вопрос, но я все еще не понимаю, зачем мне это нужно? Когда я просто могу использовать FluentBit для пересылки журнала прямо наasticsearch, зачем нам нужен агрегатор?

Для получения дополнительной информации я буду использовать много FluentBit для пары узлов (думаю, около 50 узлов)

Я ценю, если вы мне поможете, и извините за мой плохой английский sh

Спасибо

Answer 1

Сборщик журналов, такой как fluentd или logsta sh, гарантирует отсутствие риска «неверных данных», которые могут вызвать проблемы во время работы. Сборщики журналов обеспечивают унифицированный уровень ведения журнала , отделяющий источники данных от внутренних систем.

Надеюсь, это поможет.

Answer 2

Вам это не нужно, просто убедитесь, что ваш кластер Elasticsearch правильно настроен, чтобы он мог обрабатывать нагрузку с несколькими входящими соединениями и трафиком c.