Запросы метаданных в Кафку производителя - PullRequest
1 голос
/ 27 июня 2019

Сколько запросов метаданных сделает производитель Kafka? по одному на сообщение, по одному на пакет или по одному на раздел?

Как подтверждение будет отправлено для производства Kafka? по одному или как целый список или список на каждого лидера?

Ответы [ 2 ]

0 голосов
/ 28 июня 2019

Первый раз, когда производитель делает запрос метаданных, это когда он подключается к серверам начальной загрузки, которые вы указали в конфигурации клиента. Конечно, это может быть только один или несколько посредников, но не обязательно все посредники в кластере (поэтому запрос метаданных не для каждого посредника). Таким образом, производитель получает информацию о том, где находятся темы, на которые он хочет отправлять сообщения. В течение своей жизни можно выполнять больше запросов метаданных, когда он получает сообщение об ошибке подключения к лидеру брокера для раздела, который он пишет, в этом случае ему необходимо знать, какой брокер является новым лидером для подключения к нему (если он еще не подключен для другие темы) и начать отправку.

0 голосов
/ 27 июня 2019

Сколько запросов метаданных сделает производитель Kafka? по одному на сообщение, по одному на пакет или по одному на раздел?

Обычно по одному на брокера, чтобы узнать лидеров раздела. Может быть больше, если весь процесс отправки занимает много времени, а срок действия ваших метаданных на стороне производителя истекает (свойство называется metadata.timeout.ms или около того).

Как подтверждение будет отправлено для производства Kafka? по одному или как целый список или список на каждого лидера?

Производственные запросы отправляются только лидерам. Поскольку они содержат пакеты записей, вы получите ProduceResponse за пакет.

...