FlinkKafakПроизводитель numRecordsOut всегда показывает 0, в то время как в теме Kafka написано сообщение

Question

Я настроил работу Flink, записывая некоторые сообщения в тему Кафки.В качестве раковины используется FlinkKafakProducer.Я подтвердил, что в тему вывода Kafka записаны сообщения, но метрика Flink numRecordsOut всегда показывает 0. Аналогично, в веб-интерфейсе Flink отправленные байты также всегда показывают 0B.

Какова причина того, что количество записей не отражает фактический объем?

Answer 1

Метрика numRecordsOut отслеживает только внутренний трафик Flink, т. Е. Количество записей, которые передаются между операторами Flink.Он не отслеживает записи, которые записываются во внешнюю систему (и, следовательно, покидают Flink).

Поскольку это общая причина путаницы, в ближайшее время планируется решить эту проблему.