Как именно новейшая версия Kafka хранит / сохраняет подписки от потребителей?

Question

Я нашел хорошие сведения об эталонной архитектуре для стороны производителя Kafka, но очень мало подробностей о сквозной модели того, как на самом деле расходуются сообщения из тем, как управляются подписки, где сохраняются подписки (я хотел быпредположить в качестве темы для координатора группы?), и когда / когда произойдет десериализация.

У кого-нибудь есть какие-либо подробности, которые помогут определить детальную архитектуру между Брокером и потребителем?

Answer 1

В документации имеется большой раздел по модели потребителя: https://kafka.apache.org/documentation/#theconsumer

Подробности протокола группы потребителей можно найти в этих двух докладах:

• https://www.youtube.com/watch?v=QaeXDh12EhE
• https://www.confluent.io/kafka-summit-lon19/everything-you-wanted-to-know-kafka-afraid

Тематические подписки не сохраняются на брокерах, но вместо этого потребители используют протокол перебалансировки для обмена своими подписками и назначения разделов между собой.

Записи отправляются брокерами в «сыром» виде, и потребители несут ответственность за десериализацию данных, поэтому key.deserializer и value.deserializer являются обязательными настройками .