Сбор показателей производительности для подключения kafka с использованием коннектора приемника hdfs - PullRequest
0 голосов
/ 03 июля 2018

Мы запускаем kafka connect для получения авро-данных из раздела kafka и сохраняем его в формате hdfs, используя коннектор приемника hdfs. Он в основном хранит 100 записей (это конфигурация через flush.size) в одной записи Avro в папке hdfs. Я хотел знать, как рассчитать для него показатели производительности, такие как отсутствие записей или сообщений, записываемых в расположение hdfs в секунду, количество записываемых байтов в секунду, пропускная способность, дополнительные задержки. У нас не настроен центр управления kafka, также не включен порт jmx, через который его можно отслеживать, как через jconsole. Может ли это быть рассчитано вручную и как Если существует какой-либо другой инструмент, который я могу использовать как Jmeter, если да, то как Я хочу рассчитать конкретные показатели приложения не на системном уровне.

...