Миграция Cloudera Kafka (CDK) на Apache Kafka

Question

Я планирую перенести небольшой кластер Kafka с четырьмя узлами, содержащий около 300 ГБ данных каждого брокера, в новый кластер. Проблема в том, что в настоящее время мы используем версию Kafka (CDK) от Cloudera, и мы хотели бы запустить Apache Kafka. По большей части CDK очень похож на Apache Kafka, но я пытаюсь найти лучший способ миграции. Изначально я рассматривал использование MirrorMaker, но, насколько я понимаю, он будет перерабатывать сообщения, как только мы перенаправим потребителей на новый кластер, так что я думаю, что это не так. Мне было интересно, можем ли мы развернуть новый кластер Apache Kafka и добавить его в кластер CDK (не уверен, как это будет работать, если вообще будет), а затем выводить сервер CDK по одному. В противном случае у меня нет других идей, кроме как раскручивать новый кластер Apache Kafka и просто вносить изменения в код каждого производителя / потребителя, чтобы указать на новый кластер. который я не являюсь фанатом, так как это приведет к простою.

В настоящее время работает 3.1.0, что эквивалентно Apache Kafka 1.0.1

Answer 1

MirrorMaker будет копировать данные, но не смещения потребителей, поэтому они будут оставлены в своих настроенных политиках auto.offset.reset.

Мне было интересно, можем ли мы развернуть новый кластер Apache Kafka и добавить его в кластер CDK

Если это возможно, это будет наиболее эффективный способ миграциикластер. Для каждого нового брокера присвойте ему уникальный идентификатор брокера и такую ​​же строку подключения Zookeeper, как и другим, тогда он будет частью того же кластера.

Затем вам нужно будет вручную запустить инструмент переназначения разделов, чтобы переместить все существующие разделы тем из старых посредников в новые, поскольку данные не будут автоматически реплицироваться

В качестве альтернативы,Вы можете попробовать отключить кластер CDK, выполнить резервное копирование каталогов данных на новых посредников, а затем запустить ту же версию Kafka с вашего CDK на этих новых машинах (поскольку важен формат сохраненного журнала).

Также выполните команду makeубедитесь, что вы создали резервную копию файлов server.properties для новых брокеров