Есть ли способ узнать, сколько записей записывается в kafka connect sink?

Question

Я использую соединитель приемника HDFS и хочу узнать, сколько записей помещено в HDFS.

В журналах есть журнал, когда соединитель начинает помещать файл в HDFS, но не сколько записей существует. .
Например:

INFO Opening record writer for: hdfs://hdfs/path/+tmp/table/partition=2020-02-27/19955b52-8189-4f70-94b5-46d579cd1505_tmp.avro (io.confluent.connect.hdfs.avro.AvroRecordWriterProvider)

Возможно ли удлинить сам разъем?

Я использую кафку коннект HDFS 2 сток.

Answer 1

Из коробки, не то, что я знаю (конечно, это с открытым исходным кодом, и вы могли бы посмотреть). Каждый файл будет иметь переменное количество данных, поэтому отслеживание метри c не будет слишком полезным.

Я не могу вспомнить, предоставляют ли журналы отладки или трассировки эту информацию.

Вы можете использовать Hive / Spark / HDFS CLI для проверки каждого файла, хотя