Мы пытаемся получить метрику искры, используя прометей. мы используем экспортер jmx jmx_prometheus_javaagent-0.12.0.jar.
Мы можем получить показатели для клиента режима развертывания, но для кластера мы не можем его получить.
Для автономного Используемая команда:
. / spark-submit --conf "spark.driver.extraJavaOptions = -javaagent: ../ jars / jmx_prometheus_javaagent-0.12.0.jar = 8071: ../ conf / spark.yml "--class somecustomeclass --deploy-mode client --executor-memory 3g --driver-memory 3G ../jars/somejar.jar
Для кластера мы пробовали
. / spark -submit --supervise --deploy-mode cluster --conf 'spark.driver.extraJavaOptions = -javaagent: jars / jmx_prometheus_javaagent-0.12.0.jar = 8060: /conf/spark.yml spark.executor.extraJavaOptions = -javaagent : /jars/jmx_prometheus_javaagent-0.12.0.jar=8061: /conf/spark.yml spark.jars = / jars / jmx_prometheus_javaagent-0.12.0.jar '--files /jars/jmx_prometheus_javaagent-0.12.0.jar - класс org. apache .spark.examples.SparkT C - мастер-искра: // хост1: 7077, хост2: 7077 - память исполнителя 1G --total-ex ecutor-cores 1 /spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1
Мы что-то пропустили в настройке или команде?