Как использовать сообщения между двумя временными метками с помощью Kafka Console Consumer

Question

Можно ли получать сообщения в консоли пользователя Kafka для определенного диапазона временных отметок?

Например, сообщения от kafka вчера с 08:00 до 09:00.

Answer 1

Вы можете использовать kafkacat для потребления сообщений между двумя временными метками:

kafkacat -b localhost:9092 -C -t mytopic -o s@1568276612443 -o e@1568276617901

, где

• s@ обозначает начальную временную метку
• e@ обозначает окончание отметки времени

Answer 2

Да, вы можете сделать это, начиная с Кафка версии 0.10.1 .
Используйте функцию offsetsForTimes в KafkaConsumer :

Смотреть вверх смещения для указанных разделов по метке времени. Возвращенное смещение для каждого раздела является самым ранним смещением, отметка времени которого больше или равна заданной отметке времени в соответствующем разделе. Это блокирующий вызов. Потребителю не нужно назначать разделы.