подключить кластер Kafka к экземпляру Aws Ec2

Question

Я новичок в Kafka, и мой вариант использования: у меня есть резервный кластер Kafka 3node, и если я создаю сообщение на узле 1, оно автоматически синхронизируется как на узле 2, так и на узле 3 (значит, я использую сообщение в узле 2 и узле 3), так что теперь я хочу, чтобы все сообщения в другой машине aws ec2. как я могу это сделать?

Answer 1

Если я правильно понимаю, новая машина не является брокером Kafka, поэтому зеркалирование данных на нее не будет работать.

она автоматически синхронизируется как в узле 2, так и в узле 3

Только если коэффициент репликации равен 3 или более

означает, что я принимаю сообщения в узле 2 и узле 3

Только если у вас есть 3или более разделов вы будете использовать со всех трех узлов, так как в каждом разделе есть только один лидер, и все запросы на получение приходят с него

---

Если вы просто запустите какой-либо потребительский процесс на этой новой машине, вы будетеполучить все сообщения из существующего кластера.Если вы планируете хранить эти сообщения по какой-то конкретной причине, я бы посоветовал заглянуть в разъем Kafka Connect S3, а затем запросить корзину S3 с помощью Athena, например

Answer 2

Вы можете использовать MirrorMaker Apache Kafka , который облегчает репликацию нескольких центров обработки данных.Вы можете использовать его для копирования данных между двумя кластерами Kafka.

Данные считываются из тем в исходном кластере и записываются в одноименную тему в целевом кластере.Вы можете запустить много таких процессов зеркального отображения для увеличения пропускной способности и обеспечения отказоустойчивости (если один процесс умирает, другие возьмут на себя дополнительную нагрузку).

Исходный и целевой кластеры являются полностью независимыми объектами: они могут иметьРазличное количество разделов и смещений не будет одинаковым.По этой причине зеркальный кластер на самом деле не предназначен для отказоустойчивого механизма (поскольку позиция потребителя будет другой).Процесс MirrorMaker, однако, сохранит и использует ключ сообщения для разделения, так что порядок сохраняется для каждого ключа.

Другой вариант (требующий лицензирования) - ConfluentРепликатор , который также занимается настройкой темы.

Confluent Replicator позволяет легко и надежно реплицировать темы из одного кластера Kafka в другой.В дополнение к копированию сообщений этот соединитель будет создавать темы по мере необходимости, сохраняя конфигурацию темы в исходном кластере.Это включает в себя сохранение количества разделов, коэффициента репликации и любых переопределений конфигурации, указанных для отдельных тем.

Вот краткое руководство , которое поможет вам начать работу с Confluent KafkaReplicator.