Я пытаюсь запустить приложение pyspark в режиме клиента пряжи. Локальная искра версии 2.3.0 с hadoop 2.6. Кластер пряжи, работающий на hadoop 2.6.0, но с установленными версиями spark 1.6.0 и 2.3.0. Когда я указываю «spark.yarn.jars», ранее загруженный в hdfs, и запускаю приложение. Он пытается запустить Execution, но завершается с ошибкой:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142
Насколько я знаю, был ли перемещен после искры 1.6.0. Так что я думаю, что ExecutionLancher работает с spark-yarn.jar для версии 2.3.0 (загруженной из локальной версии), но с версии 1.6.0 (установленной на хосте пряжи). Не удается найти информацию о том, как указать версию спарк для использования в хосте пряжи.