Механизм обработки реплик Кафки?

Question

У меня два вопроса.

1. Интересно, как синхронизировать разделение лидера и следование.Если ведущий раздел получает сообщение, то ведущий вещает последующему разделу в фоновом режиме?но казалось, что файл конфигурации kafka не включает эти функции (информация о порте синхронизации и т. д.)
   

2. Если предположить следующую архитектуру.
   

   • Два брокера - Два раздела - Две реплики

   • Брокер № 1 - Лидерный раздел № 1, следующий раздел № 2

   • Брокер# 2 - лидерский раздел # 2, ведомый раздел # 1

Отправка сообщений будет циклически пересылаться этим двум брокерам ...

Если сообщение № 1 переходит к Брокеру № 1 (раздел № 1) и Брокер № 1 был выключен,

, то у брокера № 2 открывается раздел № 1 подписчика, а у брокера № 2 есть активный раздел с двумя лидерами (для доставки).сообщение № 1)?

Answer 1

1. Это уже обработано Кафкой.Вам нужно только определить фактор репликации для темы.Согласно Kafka docs ,

Разделы журнала распределяются по серверам в кластере Kafka, причем каждый сервер обрабатывает данные и запрашивает долю разделов.,Каждый раздел реплицируется на настраиваемое количество серверов для обеспечения отказоустойчивости.

Каждый раздел имеет один сервер, который действует как «лидер», и ноль или более серверов, которые действуют как «последователи».Лидер обрабатывает все запросы на чтение и запись для раздела, в то время как последователи пассивно копируют лидера.Если лидер терпит неудачу, один из последователей автоматически становится новым лидером.Каждый сервер выступает в качестве лидера для некоторых своих разделов и последователя для других, поэтому нагрузка в кластере хорошо сбалансирована.

Ваш вопрос неясен.Я считаю, что мой ответ на этот вопрос должен пролить некоторый свет на разделы kafka, распространение сообщений и отказоустойчивость.