Если я использую темы кафки с одним разделом, все работает нормально.
Если я использую 5 серверов kafka и раздел с 10 разделами, разделы, назначенные управляющему брокеру, начинаются со смещения -1. Сообщения, отправленные на эти разделы, будут потеряны.
Прочесывая логи я не вижу ошибок. Хотя я вижу много предупреждений о том, что разделы не работают "INFO [ReplicaFetcher replicaId = 1, leaderId = 5, fetcherId = 0] Повторная попытка запроса leaderEpoch для раздела __consumer_offsets-2, так как лидер сообщил об ошибке: UNKNOWN_TOPIC_OR_PARTITION"
Это работало нормально до обновления ОС (dc / os), которое налагает ограничения на ресурсы. Я увеличил распределение ресурсов до комичных размеров.
Ниже приведен вывод kafdrop для первых 5 разделов раздела __consumer_offsets до записи любых данных.
Partition
Первое смещение
Последнее смещение
Размер
Лидер
Реплики
Синхронизированные реплики
Предпочитаемый Лидер?
Недостаточно реплицировано?
0 0 0 0 3 3,1,2,4,5 1,2,3,4,5 Yes No
1 0 0 0 4 4,2,3,5,1 1,2,3,4,5 Yes No
2 0 0 0 5 5,3,4,1,2 1,2,3,4,5 Yes No
3 -1 -1 0 1 1,4,5,2,3 1,2,3,4,5 Yes No
4 0 0 0 2 2,5,1,3,4 1,2,3,4,5 Yes No
В этот момент сервер 1 kafka работает, и его журнал выглядит нормально. Сервер 1 также идентифицирован как управляющий брокер.