fluentd / kafka: аутентификация SASL требует, чтобы SSL был настроен - PullRequest
Новая
       21

fluentd / kafka: аутентификация SASL требует, чтобы SSL был настроен

0 голосов
/ 30 апреля 2019

Я планирую отправлять журналы в наш сотрудничающий кластер эластичного поиска.

Я использую td-agent для пересылки журналов на конечные точки Kafka, которые подключены к взаимодействующему кластеру эластичного поиска.Я установил плагин fluent-plugin-kafka с td-agent для отправки журналов на конечные точки Kafka, которые подключены к объединенному эластичному поисковому кластеру

URL-адрес плагина: https://github.com/fluent/fluent-plugin-kafka

ЖУРНАЛЫ, ПОСЫЛАЮЩИЕ ПУТИ КАКНИЖЕ: 

logs --> td-agent+fluent-plugin-kafka --> kafka cluster --> elasticsearch --> kibana

Проблема заключается в том, что конечные точки Kafka настроены таким образом, чтобы поддерживать SASL AUTHENTICATION без поддержки SSL. Поскольку журналы маршрутизируются только по совместной сети, я полагаю, что поддержка SSL не требуется.

Я получаю следующую ошибку: 

  2019-04-30 17:46:39 +0900 [error]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.3.3/bin/fluentd:8:in `<top (required)>'
  2019-04-30 17:46:39 +0900 [error]: #0 /opt/td-agent/embedded/bin/fluentd:23:in `load'
  2019-04-30 17:46:39 +0900 [error]: #0 /opt/td-agent/embedded/bin/fluentd:23:in `<main>'
2019-04-30 17:46:39 +0900 [error]: #0 unexpected error error_class=ArgumentError error="SASL authentication requires that SSL is configured"
  2019-04-30 17:46:39 +0900 [error]: #0 suppressed same stacktrace
2019-04-30 17:46:39 +0900 [info]: Worker 0 finished unexpectedly with status 1
^C

Мои настройки td-agent: 

#
<source>
  @type dummy
  dummy {"hello":"world"}
  tag test
</source>

<match test>
  @type kafka2
  brokers               stg-ageapdsk101.stg.hnd2.bdd.local:9002,stg-ageapdsk102.stg.hnd2.bdd.local:9002,stg-ageapdsk103.stg.hnd2.bdd.local:9002
  principal             'appuser@STGKAFKA100.GEAP.XXX.COM'
  keytab                'appuser.keytab'
  client_id             'kafka'
  sasl_over_ssl         false
  get_kafka_client_log  true
  <format>
    @type json
  </format>
  topic_key             'stg_esd_app_elk_1'
  get_kafka_client_log  true

  <buffer topic>
    flush_interval 10s
  </buffer>
</match>

Пожалуйста, помогите мне решить эту проблему.

1 Ответ

0 голосов
/ 09 мая 2019

Вместо sasl_over_ssl false используйте ssl_ca_cert без значения
например,
client_id 'kafka'
ssl_ca_cert
keytab 'appuser.keytab

СПАСИБО

...