Конфигурация Metricbeat-Kafka-Logstash - PullRequest
Новая
       20

Конфигурация Metricbeat-Kafka-Logstash

0 голосов
/ 21 мая 2019

Я хочу отправить данные Metribeat Кафке. И от кафки до Logstash.

Вот мой metricbeat.yml. 

metricbeat.config.modules:
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml

  # Set to true to enable config reloading
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression

setup.dashboards.enabled: false

output.kafka:

    hosts: ["kafka:9092"]   // I only have one host. 
    topic: "%{[fields.log_topic]}"   
    compression: gzip

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

И от Kakfa до Logstash, это файл конфигурации. 

input {
    kafka {
            bootstrap_servers => "localhost:9092"
            topics => ["test"]
    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

Из Logstash я хочу отправить данные в Elasticsearch для визуализации в Kibana.

Однако я не вижу индекса в Elasticsearch.

Я делаю .\metricbeat.exe setup -e (Windows) перед запуском .\start-service metricbeat.

Сервер Elasticsearch, сервер Kibana, сервер Zookeeper, сервер Kafka работают нормально.

Мой logstash выглядит хорошо. Ниже то, что я вижу из моего cmd.

[2019-05-23T17: 26: 51,668] [ИНФО] [org.apache.kafka.common.utils.AppInfoParser] Версия Kafka: 2.1.0 [2019-05-23T17: 26: 51,738] [ИНФО] [org.apache.kafka.common.utils.AppInfoParser] Kafka commitId: eec43959745f444f [2019-05-23T17: 26: 52,208] [ИНФО] [org.apache.kafka.clients.Metadata] Идентификатор кластера: eJYo7GgaTZitGoeiROlk2w [2019-05-23T17: 26: 52,211] [INFO] [logstash.agent] Успешно запущена конечная точка API Logstash {: port => 9600} [2019-05-23T17: 26: 52,222] [ИНФО] [org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId = logstash-0, groupId = logstash] Обнаружен координатор группы DESKTOP-MOVCIN1: 9092 ( id: 2147483647 стойки: ноль) [2019-05-23T17: 26: 52,229] [ИНФО] [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId = logstash-0, groupId = logstash] Отзыв ранее назначенных разделов [] [2019-05-23T17: 26: 52,231] [INFO] [org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId = logstash-0, groupId = logstash] (повторное присоединение) к присоединяющейся группе [2019-05-23T17: 26: 52,274] [ИНФО] [org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId = logstash-0, groupId = logstash] Успешно присоединилась к группе с поколением 23 [2019-05-23T17: 26: 52,281] [ИНФО] [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId = logstash-0, groupId = logstash] Установка новых назначенных разделов [test-0]

Может кто-нибудь дать мне руководство?

1 Ответ

0 голосов
/ 10 июня 2019

Мне, наконец, удалось собрать системные данные с помощью Metricbeat , отправить их на Logstash через Kafka и сохранить их в Elasticsearch и посмотретьих в кибане .

Это еще не идеальный ответ.Я обновлю его, как я понимаю, лучше в будущем.

Для metricbeat.yml конфигурации, 

output.kafka:
    hosts: ["localhost:9092"] 
    topic: "testkafka"    // I created this topic in Kafka earlier.

Для Logstash , 

input { 
    kafka { 
              bootstrap_servers => "localhost:9092"
              topics => ["testkafka"]
    }
}

output {
   elasticsearch { 
       hosts => ["localhost:9200"]
       index => "testkafka" 
   }
}

По крайней мере, с этими конфигурациями я смог интегрировать ELK с K (Kafka).

...