spark.executor.extraJavaOptions, игнорируемые в spark-submit

Question

Я новичок, пытающийся профилировать местную искровую работу. Вот команда, которую я пытаюсь выполнить, но я получаю предупреждение о том, что мои параметры исполнителя игнорируются, поскольку они являются конфигурационными свойствами без искры.

ошибка:

Предупреждение. Игнорирование свойства конфигурации без искры , базы данных = профайлер, имя пользователя = профайлер, пароль = профайлер, префикс = MyNamespace.MySparkApplication, tagMapping = namespace.application»

Команда:

. / Bin / spark-submit --master local [2] --class org.apache.spark.examples.GroupByTest --conf «spark.executor.extraJavaOptions = -javaagent: statsd-jvm-profiler-2.1. 0-jar-with-dependencies.jar = сервер = localhost, порт = 8086, репортер = InfluxDBReporter, база данных = профилировщик, имя пользователя = профилировщик, пароль = профилировщик, префикс = MyNamespace.MySparkApplication, tagMapping = namespace.application »--name HdfsWordCount --jars /Users/shprin/statD/statsd-jvm-profiler-2.1.0-jar-with-dependencies.jar libexec / examples / jars / spark-examples_2.11-2.3.0.jar

Версия Spark: 2.0.3

Пожалуйста, дайте мне знать, как решить эту проблему.

Заранее спасибо.

Answer 1

Я думаю, что проблема в двойной кавычке, которую вы используете для указания spark.executor.extraJavaOptions.Это должна быть одинарная кавычка.

. / Bin / spark-submit --master local [2] --conf 'spark.executor.extraJavaOptions = -javaagent: statsd-jvm-profiler-2.1.0-jar-with-dependencies.jar = сервер = localhost, порт = 8086, репортер = InfluxDBReporter, база данных = профилировщик, имя пользователя = профилировщик, пароль = профилировщик, префикс = MyNamespace.MySparkApplication, tagMapping = namespace.application '-Класс org.apache.spark.examples.GroupByTest --name HdfsWordCount --jars /Users/shprin/statD/statsd-jvm-profiler-2.1.0-jar-with-dependencies.jar libexec / examples / jars / spark-examples_2.11-2.3.0.jar