В Kafka v 1.xx и более поздних версиях можно получить метку времени сообщения, учитывая, что у меня есть смещение и раздел сообщения? - PullRequest
Новая
       3

В Kafka v 1.xx и более поздних версиях можно получить метку времени сообщения, учитывая, что у меня есть смещение и раздел сообщения?

0 голосов
/ 04 июня 2019

В Kafka v 1.x.x и более поздних версиях. Можно ли получить метку времени сообщения, если у меня есть смещение и раздел темы сообщения. Это

I / P: смещение раздела темы

Ожидаемая O / P: Отметка времени создания сообщения для этого точного сообщения

Одним из способов решения этого подхода является использование поиска, назначения и начала потребления сообщения. После потребления получите временную метку записи потребителя.

Однако я хотел знать, есть ли какой-нибудь API в Java / Scala / Console, который помогает в достижении этого?

1 Ответ

0 голосов
/ 04 июня 2019

consumer.assign для установки раздела и consumer.seek для установки смещения - это те методы API, которые вам нужны, да. После этого опросите как обычно, затем получите отметку времени

Или вы можете отображать временные метки в CLI, например, так: 

kafka-console-consumer ... --max-messages=1 --property print.timestamp=true \
   --topic "${TOPIC}" --partition $PARTITION --offset $OFFSET

kafkacat также можно использовать для уменьшения многословия всего этого с форматом -f '%T'

Это все доступно в Kafka 0.10.2 и более поздних версиях, когда были добавлены временные метки сообщений

...