Включить метрику Spark в LucidWorks Fusion - PullRequest
Новая
       31

Включить метрику Spark в LucidWorks Fusion

0 голосов
/ 05 апреля 2019

Я пытаюсь добавить приемник Graphite в свой компонент Fusion Spark.

Я создал файл - $ {FUSION_DIR} /apps/spark-dist/conf/metrics.properties с содержимым- 

# Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=graphite-server
*.sink.graphite.port=2003
*.sink.graphite.period=10
*.sink.graphite.prefix=lab.$(hostname)

# Enable jvm source for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

И добавил следующее в $ {FUSION_DIR} / apps / spark-dist / bin / spark-submit - 

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf=metrics.properties  "$@"

Но я не вижу метрик, зарегистрированных в Graphite,и никаких ошибок в журналах Spark.
Кто-нибудь успешно использовал конфигурацию метрик Spark в Fusion?

1 Ответ

0 голосов
/ 05 апреля 2019

Мне нужно было добавить полный путь к параметру --conf в spark-submit -

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf="${SPARK_HOME}"/conf/metrics.properties "$@".

Я не видел ошибки при запуске основных и рабочих процессов Spark, но я видел ошибку при запуске spark-shell, которая подсказала мне проблему конфигурации.

...