Выполнение кода scala через командную строку с использованием spark-submit - PullRequest
Новая
       41

Выполнение кода scala через командную строку с использованием spark-submit

0 голосов
/ 23 июня 2019

Я создал проект Scala с использованием IntelliJ IDEA и создал файл JAR. Я хочу выполнить код с помощью spark-submit. Я могу успешно выполнить код, для которого не нужно передавать аргументы. Но здесь я пытаюсь передать аргументы через командную строку, но он выдает ошибку. Моя команда 

spark-submit --class BATalgo1[-10,10,100,5,4] \file:///out/artifacts/Spark_Stack_jar/Spark_Stack.

Путь правильный, выдает следующую ошибку. 

java.lang.ClassNotFoundException: BATalgo1[-10,10,100,5,4]
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:810)
at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)
at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195)
at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

МОЙ код, 

object BATalgo1 {
 def main(args: Array[String]): Unit = {
  val t1 =System.nanoTime()
  var MinVal = args(0).toInt //scala.io.StdIn.readDouble();
  var MaxVal = args(1).toInt //scala.io.StdIn.readDouble();
  var MaxIt = args(2).toInt //scala.io.StdIn.readDouble();
  val N = args(3).toInt //scala.io.StdIn.readInt();
  val d = args(4).toInt //scala.io.StdIn.readInt()
  println("arguments are= ", MinVal,MaxVal , MaxIt ,N ,d )
 }
}

1 Ответ

2 голосов
/ 23 июня 2019

Попробуйте: 

spark-submit --class BATalgo1 <your-executable-jar-file> -10 10 100 5 4

Если основной класс BATalgo1 находится внутри упаковки com.package, замените BATalgo1 на com.package.BATalgo1.

Аргументы командной строки передаются в последней команде spark-submit.

Дополнительную информацию см. В документации .

...