Confluent 5.0.0: приемник kafka connect hdfs: невозможно описать отставание группы потребителей kafka connect после обновления - PullRequest
0 голосов
/ 17 сентября 2018

Мы обновились с Confluent 4.0.0 до 5.0.0, после обновления мы не можем перечислить задержку потребителя коннектора раковины kafka connect hdfs.

$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --group connect-kconn_scribe_log_backend --describe
Note: This will not show information about old Zookeeper-based consumers.
$ 

Были ли внесены какие-либо изменения в команду группы потребителей в kafka2.0 / слияния 5.0.0?Как отследить задержку, которую мы должны предупредить, основываясь на этой задержке?Наши брокеры работают на кафке версии 1.1.0.Также не может видеть группу потребителей подключения в менеджере kafka после обновления.С kafka connect проблем не возникает, так как коннектор может записывать в hdfs.Спасибо.

1 Ответ

0 голосов
/ 21 сентября 2018

Разъем Kafka Connect HDFS больше не фиксирует смещения, поэтому нет оснований для расчета базового лага.

PS. Восстановление основано на соглашении об именовании файлов HDFS, имена файлов имеют информацию о разделе и смещении.

...