spark-submit создает исключение java.lang.ClassNotFoundException: SparkPIIDetector

Question

У меня есть простое Java-приложение Spark (SimpleApp.jar), которое я пытаюсь запустить с помощью приведенной ниже команды в среде Windows

spark-submit.cmd --class SimpleJar --master local SimpleApp.jar

, которое продолжает выдавать

java.lang.ClassNotFoundException: SimpleApp
        at java.net.URLClassLoader.findClass(Unknown Source)
        at java.lang.ClassLoader.loadClass(Unknown Source)
        at java.lang.ClassLoader.loadClass(Unknown Source)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Unknown Source)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:225)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:686)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

структура каталогов моего проекта выглядит следующим образом:

SimpleApp
- infrastructure (AN ANSIBLE MODULE)
- SimpleApp (A MAVEN MODULE)
- - src
- - - main
- - - - java
- - - - - SimpleApp.java
- - - - resources
- - pom.xml

И внутри POM я использую плагин Shade для создания своего Uber JAR, например, так:

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.3</version>
                <executions>
                    <!-- Run shade goal on package phase -->
                    <execution>
                        <id>SimpleAppId</id>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <!-- add Main-Class to manifest file -->
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>SimpleApp</mainClass>
                                </transformer>
                            </transformers>
                            <shadedClassifierName>SimpleApp</shadedClassifierName>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

Может кто-нибудь, пожалуйста, сообщите, что происходитнеправильно настроен здесь.Это что-то, что связано с окружающей средой, являющейся окнами?Я могу развернуть это на AWS EMR без проблем.Кроме того, это также может быть полезно

unzip -p SimpleApp.jar META-INF/MANIFEST.MF

Manifest-Version: 1.0
Archiver-Version: Plexus Archiver
Built-By: <author>
Created-By: Apache Maven 3.3.9
Build-Jdk: 1.8.0_191
Main-Class: SimpleApp

Answer 1

Было несовпадение версий между искрой, работающей на моей машине, и зависимостью, которую я использовал в своем приложении. Как только я перешел на самую новую версию spark, все работало без сбоев.