Вынуждая автоматически масштабируемых потребителей читать каждый кафка топи c каждый раз, когда они начинают

Question

У меня есть сжатая таблица, отображающая фактическое состояние системы. Согласно бизнес-правилам, всякий раз, когда запускается экземпляр службы (автоматически масштабируется), все топи c должны считываться и кэшироваться в памяти, а также следить за новыми поступающими обновлениями. Каковы правильные настройки потребителя Kafka, чтобы гарантировать такое поведение?

Answer 1

В вашем случае самое главное - запустить потребителя с auto.offset.reset=earliest, чтобы вы до сих пор получали весь топический контент c, а также ожидали новых событий.
Kafka Consumer работает в режиме повторяющихся опросов. внутри al oop опрос (получение) всех данных, находящихся в настоящее время в topi c, может потребовать несколько опросов и занять некоторое время, в зависимости от размера topi c (также зависит от хранения).
О программе кэширование, вы будете писать для кэширования полученных событий на каждой итерации опроса.

Дальнейшее чтение о Kafka Consumer и лучших методах опроса:
https://www.oreilly.com/library/view/kafka-the-definitive/9781491936153/ch04.html