EMR conf spark-настройки по умолчанию

Question

Я использую файл конфигурации в соответствии с инструкциями Настройка Spark для настройки конфигурации EMR на AWS, например, изменение spark.executor.extraClassPath осуществляется с помощью следующих настроек:

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "/home/hadoop/mongo-hadoop-spark.jar",
     }
}

Itработает с префектом и меняет spark.executor.extraClassPath на emr spark conf, но у emr есть несколько предустановленных путей по умолчанию в spark.executor.extraClassPath, поэтому вместо перезаписи spark.executor.extraClassPath. Я хотел бы знать, есть ли способ добавить путь и сохранитьпути по умолчанию, такие как

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "{$extraClassPath}:/home/hadoop/mongo-hadoop-spark.jar",
     }
}

Answer 1

Вы можете поместить "spark.jars" в spark-defaults.conf, так что даже если вы используете ноутбук, эта конфигурация будет использоваться.Надеюсь, это решит вашу проблему

Answer 2

Указание полного пути для всех дополнительных jar, в то время как для вас будет работать sumit.

- jars

Этот параметр будет отправлять эти jar всем исполнителям и не будет изменять дополнительный путь к классу по умолчанию.

Еще один вариант, который я знаю, но я пробовал его только на Yarn, но не уверен насчет EMR

. / Bin / spark-submit --class "SparkTest" --master local [*]--jars /fullpath/first.jar,/fullpath/second.jar /fullpath/your-program.jar