td-agent fluentd не может отправлять сообщения Кафке

Question

У меня был td-agent, без проблем отправляющий сообщения в очередь Kafka.Но теперь я получаю следующую ошибку.Я перезапустил агент без удачи.Я удалил буфер вручную без удачи.

Любые советы о том, что происходит, приветствуются

2019-03-20 16:44:06 +0100 [warn]: # 0 Произошло исключение при отправке: Не удалось отправить сообщения на test-250-events / 0 2019-03-20 16:44:06 +0100 [warn]: # 0 Исключение Backtrace: /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8 / lib / kafka / seller.rb: 330: в блоке deliver_messages_with_retries' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:in в файле доставок_messages /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/instrumenter.rb:23:in instrument' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:in delivery_messages '/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent / plugin / out_kafka_buffered.rb: 281: in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:in write '/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/compat/output.rb: 131: in write' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:in try_flush '/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1394:в flush_thread_run' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:445:in блоке (2 уровня) в начале '/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin_helper/thread.rb:78: в блоке в thread_create 2019-03-20 16:44:06 +0100 [info]: инициализирован # 0 производитель kafka: kafka 2019-03-20 16:44:06 +0100 [warn]: # 0 не удалось очистить буфер.retry_time = 5 next_retry_seconds = 2019-03-20 16:44:05 +0100 chunk = "58471660306e5c7712d0c2ff1a546048" error_class = Kafka :: DeliveryFailed error = "Не удалось отправить сообщения в test-250-events / 0" 2019-03-20 16: 44: 06 +0100 [предупреждение]: # 0 подавил ту же самую трассировку стека

Существует соединение с кластером Kafka с сервера:

user @ server: ~ $ telnet digital.servicebus.windows.net 9093 Попытка 13.69.64.0 ... Подключена к digital-dev-01.servicebus.windows.net.Escape-символ '^]'.

Заранее спасибо

Answer 1

У нас точно такая же проблема. Свободно работал с выходом Kafka в кластере Kubernetes в Azure North Europe.

Около 1 вечера 19 марта он просто перестал работать из нескольких кластеров.

Редактировать: Мы нашли решение с нашей стороны. В основном убедитесь, что у вас установлена ​​более поздняя версия ruby-kafka и / или fluent-kafka-plugin

Мы достигли этого, проявив это в нашем манифесте в Куберне.

контейнеры: - имя: свободно изображение: fluent / fluentd-kubernetes-daemonset: v1.3.3-debian-kafka-1.2 команда: ["/ bin / sh"] args: ["-c", "cp /fluent-config/*.conf / fluentd / etc / && gem install fluent-plugin-обнаружить-исключения && gem install fluent-plugin-prometheus && gem update fluent-plugin-kafka && /fluentd/entrypoint.sh "]