Мониторинг задержки подключения приемника HDFS - PullRequest
Новая
       31

Мониторинг задержки подключения приемника HDFS

0 голосов
/ 30 мая 2018

В новом выпуске разъема HDFS Sink смещение хранилища было изменено.В старых выпусках мне удавалось отслеживать отставание соединителя с помощью инструментов Kafka для мониторинга потребителей (например, 'kafka-consumer-groups').

Но теперь я наблюдаю это сообщение в наших журналах: 

   log.info("HDFS connector does not commit consumer offsets to Kafka. Upon startup, HDFS "
        + "Connector restores offsets from filenames in HDFS. In the absence of files in HDFS, "
        + "the connector will attempt to find offsets for its consumer group in the "
        + "'__consumer_offsets' topic. If offsets are not found, the consumer will "
        + "rely on the reset policy specified in the 'consumer.auto.offset.reset' property to "
        + "start exporting data to HDFS.");

Итак, мой вопрос, как мы можем контролировать этот разъем?

...