Как спарк сообщает / собирает метрики

Question

Этот определяет несколько приемников, метрик и так далее.Но они собраны?

1. Допустим, я добавил JxmSink в metric.properties файл и включил все показатели экземпляра (мастер, приложения, работник, исполнитель, драйвер, shuffleService, applicationMaster).
2. Предположим, что порт jmx установлен.

Где собирать метрики: подключаться ко всем узлам кластера или только к узлу драйвера?

Answer 1

Метрики Spark не требуются для извлечения из отдельных узлов, если соответствующий хост-приемник настроен в файле свойств метрики, то метрики будут выдвигаться к нему через каждые настроенные секунды.В нашей настройке настроено использование GraphiteSink для сбора метрик, необходимая конфигурация для такой же, как описано ниже (наряду с другими, которые вы упомянули)

1. Подготовьте файл свойств конфигурации метрики с конечной точкой сервера Graphite

    *.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
    *.sink.graphite.host=<graphite-server-host>
    *.sink.graphite.port=<graphite-server-port>
    *.sink.graphite.period=10
    *.sink.graphite.prefix=dev

Убедитесь, что файл свойств метрик передается в параметр --files скрипта задания spark-submit, чтобы он использовался узлами-исполнителями для отправки метрик