Совместимость версий Kafka Connect и Kafka Broker

Question

У нас есть «Kerberized Kafka cluster», в котором работает брокерская версия Apache Kafka 0.11. Этот кластер управляется другой командой, и мы не имеем никакого контроля над этим.

Сейчас мы пытаемся установить кластер Kafka Connect на наш собственный кластер K8S.

Мы следовали этой матрице совместимости https://docs.confluent.io/current/installation/versions-interoperability.html

В соответствии с этим нам пришлось придерживаться образов Confluent Platform 3.3.3 для модулей реестра и модулей Kafka Connect, поскольку версия Brokers - 0.11

.

Также мы хотим включить метрики Connect JMX, которые были реализованы здесь: https://cwiki.apache.org/confluence/display/KAFKA/KIP-196%3A+Add+metrics+to+Kafka+Connect+framework

Согласно документации эти метрики JMX поддерживаются в Kafka 1.0.0

Вопросы:

1) Можем ли мы использовать последние изображения Confluent (например: версия 5.2.0) с версией Kafka Brokers 0.11?

2) При текущей настройке (Confluent 3.3.3) я включил все метрики JMX, но мы не видим никаких метрик на основе Kafka Connector. Я вижу общие метрики Kafka Connect, но не метрики для каждого коннектора (например, метрики Source и Sink). Это из-за старой версии CP, которую мы используем?

Answer 1

Рабочие Kafka Connect, включенные в Confluent Platform 3.2 и более поздние версии, совместимы с любым брокером Kafka, включенным в Confluent Platform 3.0 и более поздние версии

Примечание: Kafka Connect не является функцией Confluent Platform и построен на основе простого API Apache Kafka. Поэтому экземпляры Connect, использующие клиентские библиотеки Kafka 1.0 и 2.0, по-прежнему работают с посредниками Kafka 0.11 для базовых протоколов связи

Если у вас проблемы с Kerberos, скорее всего, они не связаны

Я вижу общие показатели Kafka Connect, но не показатели для каждого Connector

Как правило, такой метрики для каждого соединителя не существует, как, например, «количество записей, считанных / записанных в базу данных», или, по крайней мере, это во многом будет зависеть от того, действительно ли соединители реализуют свои собственные метрики, но да, 3.3. x релизы основаны на Kafka 0.11, а не 1.0, где было добавлено больше метрик Connect API