Зеркальное отображение данных в кластере Kafka 0.8.2.1 в кластер Kafka 2.2.0

Question

Я хотел использовать Apache Spark Structured Streaming вместе с Kafka, Spark Structured Streaming поддерживает Kafka 0.10 и выше, и мой кластер Kafka использует версию kafka 0.8.2.1. Я хочу повторить некоторые темы из текущего кластера kafka 0.8.2.1 в новый кластер Kafka, основанный на 2.2.0.

Для этого я попытался использовать kafka-console-consumer на кластере Kafka 2.2.0 для прослушивания сообщений из кластера kafka 0.8.2.1 и передал результат kafka-console-consumer на kafka-console-seller на kafka. 2.2.0 кластер. Но это не помогло kafka-console-consumer на кластере Kafka 2.2.0 получить сообщения.

Answer 1

На данный момент я решил эту проблему, читая данные из кластера kafka 0.8.2.1, используя API-интерфейсы клиента Java, и записываю данные, прочитанные из более старого кластера kafka (0.8.2.1), в новый кластер kafka (2.2.0). ) с использованием клиентских API.

Кто-нибудь может предложить несколько лучших способов зеркалирования двух кластеров kafka, работающих под разными версиями Kafka?