В чем разница между Kafka Cluster и Kafka Broker? - PullRequest
Новая
       81

В чем разница между Kafka Cluster и Kafka Broker?

0 голосов
/ 05 мая 2020

Имеет одинаковые значения Kafka cluster и Kafka broker?

Я знаю, что кластер имеет несколько брокеров (Это неправильно?).

Но когда я пишу код для создания сообщений, я считаю неудобным option. 

props.put("bootstrap.servers", "kafka001:9092, kafka002:9092, kafka003:9092");

Это адрес брокера или адрес кластера? Если это адрес брокера, я думаю, это нехорошо, потому что мы должны изменить указанный выше адрес, когда брокеры подсчитывают изменения. (Но это похоже на адрес брокера ..)

Кроме того, я видел в MSK в Amazon, что мы можем добавить брокера к каждому AZ. Это означает, что у нас не может быть много брокеров. (Максимум три или четыре?)

И они посоветовали нам записать адреса этого брокера в bootstrap .server option as a, `разделенный список.

Почему они не направляют нас использовать адрес кластера или ARN?

1 Ответ

2 голосов
/ 05 мая 2020

A Kafka cluster - это группа Kafka brokers.

При использовании Producer API не требуется указывать всех брокеров в кластере в свойствах bootstrap.servers. Документация по настройке производителя на bootstrap .servers дает полную информацию:

Список пар хост / порт, используемых для установления начального подключения к кластеру Kafka. Клиент будет использовать все серверы, независимо от того, какие серверы указаны здесь для начальной загрузки - этот список влияет только на начальные хосты, используемые для обнаружения полного набора серверов. Этот список должен иметь вид host1: port1 , host2: port2, .... Поскольку эти серверы используются только для начального подключения для обнаружения полного членства в кластере (которое может динамически меняться), этот список не обязательно должен содержать полный набор серверов (вам может понадобиться более одного, хотя, если сервер не работает).

Все брокеры в кластере совместно используют метаинформацию других брокеров в том же кластере. Поэтому в свойствах bootstrap-servers достаточно указать хотя бы одного брокера. Однако вы все равно должны упомянуть более одного, если один брокер недоступен по какой-либо причине.

...