Миграция кластера Kafka по облакам, как гарантировать, что потребители потребляют с правильных смещений, когда смещения управляются нами?

Question

Для миграции кластеров Kafka с AWS на AZURE, проблема заключается в том, что мы используем наше пользовательское управление смещениями для потребителей. Если я копирую узлы ZK со смещениями, Кафка-зеркало изменит эти смещения. Есть ли способ убедиться, что смещения одинаковы, чтобы миграция могла быть плавной?

Answer 1

Я думаю, что проблема может быть в вашем собственном управлении. Без подробностей об этом трудно дать предложения.

Проблема, с которой я сталкиваюсь при попытке скопировать смещения вообще, заключается в том, что вы используете кластер A, смещение 1000 темы T. Вы копируете это в совершенно новый кластер B, теперь у вас есть тема T, смещение 0 * 1004. *. Если в этом сценарии потребители начнут со смещения 1000, то в этом случае произойдет сбой, или если по крайней мере 1000 сообщений будут отражены, вы фактически пропустите эти данные.

---

В более новых версиях Kafka (публикация 0.10) MirrorMaker использует тему __consumer_offsets, а не Zookeeper, поскольку он построен на новых клиентах Java.

Что касается инструментов репликации, uber / uReplicator использует ZooKeeper для смещений.

Существуют другие инструменты, которые по-разному управляют смещениями, например, Comcast / MirrorTool или salesforce / mirus через Kafka Connect Framework.

---

И поддерживаемым предприятием инструментом будет Confluent Replicator, который имеет уникальные способы обработки аварийного переключения и миграции кластера.