Flink statsD интеграция

Question

Мы используем Flink 1.9.1 на EMR 5.29 с включенным режимом multi-master. Мы добавили приведенную ниже конфигурацию в файл flink-conf.yaml в папке conf и добавили jar flink-metrics-statsd-1.9.1.jar в папку flink / lib.

metrics.scope.jm: <host>.jobmanager
metrics.scope.jm.job: <host>.jobmanager.<job_name>
metrics.scope.tm: <host>.taskmanager.<tm_id>
metrics.scope.tm.job: <host>.taskmanager.<tm_id>.<job_name>
metrics.scope.task: <host>.taskmanager.<tm_id>.<job_name>.<task_name>.<subtask_index>
metrics.scope.operator: <host>.taskmanager.<tm_id>.<job_name>.<operator_name>.<subtask_index>

metrics.reporters: stsd
metrics.reporter.stsd.factory.class: org.apache.flink.metrics.statsd.StatsDReporter
metrics.reporter.stsd.host: localhost
metrics.reporter.stsd.port: 8130
metrics.reporter.stsd.interval: 60 SECONDS

Когда мы слушаем порт statsD, мы не не получить какой-либо из показателей. Что-то мы упускаем? Есть ли способ проверить, не передается ли какой-либо параметр?

Как было предложено в одном из других ответов, мы также попытались указать IP-адрес мастера. Кажется, не работает.

Answer 1

Обнаружил проблему: Это должно было быть использовано: metrics.reporter.stsd.class: org.apache.flink.metrics.statsd.StatsDReporter Вместо: metrics.reporter.stsd.factory.class: org.apache.flink.metrics.statsd.StatsDReporter

Answer 2

В Flink 1.9 вам необходимо скопировать файл jar для репортера в каталог lib на каждой машине в кластере. Поэтому скопируйте flink-metrics-statsd-1.9.1.jar из opt в lib.

Если это не поможет, проверьте журналы - там должны быть подсказки.

Кроме того, statsd обычно использует порт 8125. Вы уверены, что он прослушивает 8130?