Как избавиться от негативного потребительского лага в Кафке - PullRequest
0 голосов
/ 25 марта 2020

Недавно я отслеживал свой кластер и увидел отрицательное потребительское отставание на нем:

enter image description here

Это отрицательное отставание влияет на коннекторы приемника на кластере, и я получил эту ошибку на Kafka-Connect :

Mar 25 15:56:30 Master1 connect-distributed[14530]: [2020-03-25 15:56:30,910] WARN WorkerSinkTask{id=hdfs-1} Ignoring invalid task provided offset mongodb.db.collection-1/OffsetAndMetadata{offset=84, leaderEpoch=null, metadata=''} -- not yet consumed, taskOffset=84 currentOffset=7 (org.apache.kafka.connect.runtime.WorkerSinkTask:417)

...