Проверка Kafka Cache по определенному полю

Question

У меня есть тема кафки, которая получает сообщение. Теперь мой потребитель получает объект с различными полями, скажем, идентификатор и имя. После некоторых я получаю другой объект и так далее. Через некоторое время я хочу проверить, что объект с id = {некоторое число} присутствует в кэше Кафки или нет. Так есть ли способ проверить кеш кафки по конкретному полю.

Answer 1

Вы говорите о двух разных потребителях, Потребитель-1, который только что потребляет сообщение из темы Кафки, выполняющее некоторую обработку на основе вашей логики.

Consumer-2, который получает все сообщения в теме с самого начала и сопоставляет их с набором идентификаторов.

Второй случай будет становиться все дороже по мере добавления сообщений в тему. Это не тот случай использования, для которого создан Kafka, вы можете сделать это более эффективно в ActiveMQ.

Если вы все еще хотите использовать Kafka, другой вариант заключается в том, что вы можете сохранить небольшой хэш-набор записей в памяти, с которым вы можете создавать comaprison.