ELK cloud- подключение kafka ec2 для визуализации данных kafka-topi c на кибане - PullRequest
Новая
       160

ELK cloud- подключение kafka ec2 для визуализации данных kafka-topi c на кибане

0 голосов
/ 13 февраля 2020

Я хочу связать kafka сasticsearch, kibana для визуализации данных из kafka-topi c. Я смог сделать это на локальном компьютере по следующей ссылке: https://logz.io/blog/deploying-kafka-with-elk/

Но я не могу повторить то же самое на облаке ELK, который находится на AWS. У меня есть Кафка, работающая на отдельном экземпляре ec2 aws. Может ли кто-нибудь подсказать мне, как установить sh соединение между облаком elk и экземпляром kafka ec2?

Мой logsta sh конвейер: 

input {
  kafka {
    bootstrap_servers => "<ec2 instance ip>:9092"
    topics => "kafka_topic"
    codec => json
    }
}


output {
  elasticsearch {
    hosts => ["<elk cloud DNS>:9200"]
  }
}

Я настроил модуль проверки файлов на мой экземпляр ec2 kafka и приведенный ниже конфиг модуля elk cloud beats: 

Filebeat.input:
 path: /var/log/apache2/access.log
other config:
type: log
enabled: true

output:
hosts: <ec2 instance ip> :9092
other config:

  codec.format:
    string: '%{[@timestamp]} %{[message]}'
  topic: kafka_topic
  partition.round_robin: null
  reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

Я не могу связать свою kafka на ec2 с облаком elk.

...