Nifi ConsumeKafka Fetch / Polling Query

Question

У меня есть процессор ConsumeKafka, который опрашивает указанные топи c,

Идея состоит в том, чтобы вытащить из kafka topi c и pu sh его в InfluxDB.

Срок хранения моей кафки топи c составляет 2 недели. Я установил свой ConsumeKafka для выборки со смещением последнее .

Однако иногда я останавливаю свой процессор ConsumeKafka, поэтому в этом случае процессор знает последнее состояние записи, которая была извлечена перед остановкой?

Что происходит, когда я играю после остановки? Игнорируются ли записи, поступившие в остановленный период времени?

Пожалуйста, дайте несколько советов, так как я очень плохо знаком с Кафкой.

Answer 1

То, на что вы ссылаетесь - это смещение сброса. Это означает, что если ваша группа потребителей была сброшена или не существовала ранее, она будет сброшена до последнего смещения. Так как вы не сбрасываете свою группу потребителей после остановки процессора, он продолжит работу с последнего смещения, которое он извлек, а не с самого последнего смещения, когда-либо до этого момента.