Я использую sbt package, чтобы создать .jar файл и отправить spark-submit
, если я использую
package mygraph
import mygraph._
object GApp {
def main ...
Тогда он выдаст ClassNotFoundException: GApp, но если яудалите первую строку и измените на
import mygraph._
object GApp {
def main ...
, тогда это может работать, почему?
My build.sbt выглядит следующим образом
name := "ag"
version := "1.0"
artifactName := { (sv, md, art) => "g.jar" }
scalaVersion := "2.11.8"
assemblyJarName in assembly := "G.jar"
resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-sql" % "2.0.1" % "provided",
"org.apache.spark" %% "spark-graphx" % "2.0.1" % "provided",
"neo4j-contrib" % "neo4j-spark-connector" % "2.0.0-M2" % "provided"
)