конфигурации искрового тракта не работают должным образом в Windows

Question

Итак, я хотел указать дополнительный путь к классу jar-файлов для Spark, работающих в Windows. Для этого я добавил следующие две строки в мой spark-defaults.conf файл. Для linux дополнения работают нормально, но не для Windows. Есть идеи почему?

spark.executor.extraClassPath   C:\spark-2.3.2-bin-hadoop2.7\extrajars\*

Я тоже это пробовал, но все равно не повезло.

spark.executor.extraClassPath   "C:\spark-2.3.2-bin-hadoop2.7\extrajars\*"

Answer 1

Пожалуйста, попробуйте использовать \\ вместо \

spark.executor.extraClassPath   C:\\spark-2.3.2-bin-hadoop2.7\\extrajars\\*

Запустить спарк-оболочку и проверить:

scala> spark.conf.getAll.mkString("\n")

Должен иметь

spark.executor.extraClassPath -> C:\spark-2.3.2-bin-hadoop2.7\extrajars\*

Надеюсь, это поможет!