Как установить конфигурацию телеграфа для сбора кафки топиков раздела / раздела в Elasticsearch

Question

Хочу поставить кафку темы / лаги раздела в Elasticsearch. Используя kafka burrow и telegraf.

Я уже установил kafka, burrow, telegraf и Elasticsearch в локальный macbook. Я знал, что в telegraf был плагин для ввода в рору.

плагин для телеграфа: https://github.com/influxdata/telegraf/tree/master/plugins/inputs/burrow

Скажите, пожалуйста, как настроить конфигурацию телеграфа для сбора лагов тем / разделов в Elasticsearch.

Спасибо.

Answer 1

Если вы хотите сделать телеграф в качестве конвейера данных для соединения Burrow и Elasticsearch. Используйте приведенную ниже конфигурацию.

telegraf.conf

[[inputs.burrow]]
  servers = ["http://burrowIp:8000"]
  topics_exclude = [ "__consumer_offsets" ]
  groups_exclude = ["console-*"]

[[outputs.elasticsearch]]
  urls = [ "http://elasticsearchIp:9200" ] 
  timeout = "5s"
  enable_sniffer = false
  health_check_interval = "10s"
  index_name = "burrow-%Y.%m.%d" 
  manage_template = false

Этот параметр будет накапливать данные в Elastic Search.