Нужно читать записи из kafka topi c, и как только 50 записей будут прочитаны, вызовите API, который принимает 50 записей в одном запросе

Question

Мне нужно прочитать записи из топики Кафки c, и как только 50 записей будут прочитаны, вызовите API, который принимает 50 записей в одном запросе.

Есть предложения, как это реализовать, если в приложении нет базы данных для хранения?

Я могу читать записи из топики Кафки c, ища рекомендации о том, как ставить записи в очередь, пока счет не достигнет 50.

Answer 1

Набор max.poll.records=50 для потребителя.

max.poll.records: максимальное количество записей, возвращаемых за один вызов poll ().

Я не знаю, как часто вы получаете данные, если вы видите, что пакеты имеют менее 50 записей, попробуйте увеличить session.timeout.ms (по умолчанию 10 секунд).

Подробнее о конфигурации потребителя в Документация Kafka