Spark Scala с зависимостями в одной банке

Question

У меня есть приложение Scala Spark, для которого я хочу создать jar с зависимостями, используя maven.

Я использую maven-assembly-plugin

<plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

но когда я запускаю свое приложение с помощью команды Spark-submit, я все равно получаю java.lang.NoClassDefFoundError. Когда я запускаю его с параметром --jars и указываю путь для jar зависимостей, он работает нормально. Пожалуйста, дайте мне знать, если я что-то упустил. Спасибо

Answer 1

Конфигурация выглядит хорошо.Попробуйте удалить предыдущие jar-файлы приложения и выполните команду « mvn package », чтобы создать новый.