Кафка, будут ли разные перегородки иметь одинаковый номер смещения

Question

У меня есть одна тема Кафки и пять разделов для этой одной темы.Там будет 5 групп потребителей.В каждой группе потребителей есть один экземпляр службы, использующий эту тему.

Будет ли смещение одинаковым для каждого потребителя для одной и той же записи в Kafka?

Answer 1

Смещение назначается посредником при поступлении сообщения в раздел, поэтому оно уникально и не связано с потребителями (и группами потребителей).Он идентифицирует уникальную позицию записи в разделе.С другой стороны, каждый потребитель (в группе потребителей), считывающий данные из определенного раздела, будет отслеживать свое собственное смещение, которое будет отличаться от потребителей (в других группах потребителей);Концепция смещения в этом случае используется для отслеживания положения внутри раздела, с которого читаются сообщения.Конечно, это всегда смещение сообщения.

Answer 2

По смещению, если вы имеете в виду порядок сообщений, то да.Это будет одинаковым для всех потребителей, потому что порядок определяется производителями и брокерами.Итак, если у вас есть msg-1 , msg-2 , ..., msg-1000 в теме, все 5 потребителей будут использовать их вэтот конкретный порядок.Но скорость потребления может варьироваться.Он имеет множество переменных (например, задержка сети, топология сети, логика потребителя и т. Д.), Которые определяют скорость потребления.