Вход Logstash Kafka не может подключиться

Question

Я пытаюсь построить конвейер на основе этого урока , где Кафка читает из файла с коннектором File Source.Используя эти образы Docker для Elastic Stack, я хочу зарегистрировать Logstash в качестве потребителя для темы "quickstart-data", но на данный момент мне не удалось.

Вот мой logstash.conf file:

input {
  kafka {
    bootstrap_servers => 'localhost:9092'
    topics => 'quickstart-data'
  }
}

output {
  elasticsearch {
    hosts => [ 'elasticsearch']
    user => 'elastic'
    password => 'changeme'
  }
  stdout {}
}

Соединение с Elasticsearch работает, потому что я проверил его с вводом пульса.Я получаю следующее сообщение об ошибке: Не удалось установить соединение с узлом -1.Брокер может быть недоступен.Откажитесь от отправки запроса метаданных, поскольку ни один узел не доступен

Есть идеи?

Answer 1

Я бы порекомендовал вам не усложнять ситуацию и использовать Kafka Connect для посадки данных в Elasticsearch: https://docs.confluent.io/current/connect/connect-elasticsearch/docs/elasticsearch_connector.html#quick-start