Как отправить json-сообщения в Kafka с помощью плагина FluentD out? - PullRequest
Новая
       31

Как отправить json-сообщения в Kafka с помощью плагина FluentD out?

0 голосов
/ 16 апреля 2019

(я новичок в kafka) Я пытаюсь выполнить эту простую настройку на ПК, чтобы прочитать события в формате json из txt-файла и отправить его на kafka.У меня zookeeper, работающий на 2181, и сервер kafka на 9092. Я использую консольный потребитель kafka, слушающий тему «события», но не вижу получения событий.Любая идея, что мне не хватает?

Я вижу события, отправляемые на стандартный вывод td-agent из первой конфигурации соответствия.

Моя полная конфигурация td-agent выглядит следующим образом 

<source>
  @type tail
  path D:/Events/*.txt
  path_key tailed_path
  tag event
  format json 
    time_key timeStamp
    keep_time_key true
</source>

<match event.**>
  @type stdout
</match>

<match event.**>
  @type kafka_buffered

  # list of seed brokers
  brokers localhost:9092

  # buffer settings
  buffer_type file
  buffer_path C:/var/log/td-agent/buffer/td
  flush_interval 3s

  # topic settings
  default_topic events

  # data type settings
  output_data_type json
  compression_codec gzip

  # producer settings
  max_send_retries 1
  required_acks -1
</match>
...