автономный кластер apache spark - spark-submit - ConnectException: вызов из ubuntu / 127.0.1.1 в ubuntu: сбой 9000

Question

Когда я пишу код в Intellij и spark 2.3.0 с master ("local") и выполняю в Intellij, я получаю вывод.Но, 1) если я запускаю отдельный кластер искры (один узел) (./ start-master.sh дает мне URL-адрес мастера и ./start-slaves.sh).и давая sparkSession.master ("url master spark") проблему, подобную этой:

18/06/03 20:48:49 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 192.168.43.2, executor 0): java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD     at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2133)

2), и я создал толстый jar с командой "sbt assembly" .then spark-submit выдает мне ошибку, как показано ниже, дажея использую --master local [7] (или) --master spark: //ubuntu.ubuntu-domain: 7077.

Есть ли какие-либо проблемы с жирным созданием JAR?

spark/bin>spark-submit --class apache.sparkSQL.sql_batch \
                       --msater spark://ubuntu.ubuntu-domain:6066 \                   
                       --deploy-mode cluster
                       /home/user/level_2/spark-2.3.0-bin-hadoop2.7/bin/batch-sparkSQL.jar 10

    Exception in thread "main" java.net.ConnectException: Call From ubuntu/127.0.1.1 to ubuntu:9000 failed on connection exception: java.net.ConnectException: Connection refused;

Я ударил здесь. Пожалуйста, помогите уменьшить это.заранее спасибо

мой код ниже:

    package apache.sparkSQL

import org.apache.spark.sql.SparkSession

object sql_batch //extends App
{

  case class Employee(id:Int,name:String,mobile:String)

  case class Car(id:Int,brand:String,model:String)

  def main(args:Array[String]):Unit ={

    println("hello ! World")

    val spark = SparkSession.builder.appName("Spark SQL Demo").master("spark://ubuntu.ubuntu-domain:7077").getOrCreate()
    var myrdd1 = spark.sparkContext.textFile("/home/user/IdeaProjects/stream_trend/src/main/resources/batch_data/records.txt")
    var myrdd2 = spark.sparkContext.textFile("/home/user/IdeaProjects/stream_trend/src/main/resources/batch_data/another.txt")


    //myrdd.foreach(println)

    import spark.implicits._

    //case class Employee(id:Int,name:String,mobile:String)
    val df1 = myrdd1.map(_.split(",")).map(attri => Employee(attri(0).toInt, attri(1), attri(2))).toDF()
    val df2 = myrdd2.map(_.split(",")).map(attri => Car(attri(0).toInt,attri(1),attri(2))).toDF()

    df1.show()
    df2.show()

    val jn_df = df1.join(df2,df1.col("id")===df2.col("id"),"right")

    jn_df.select(df2("id"),$"name",$"brand").show()
   }

}

build.sbt файл:

    name := "stream_trend"

version := "1.0"

scalaVersion := "2.11.8"

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}
mainClass in assembly := Some("apache.sparkSQL.sql_batch")
resolvers += "spray repo" at "http://repo.spray.io"
assemblyJarName in assembly := "batch-sparkSQL.jar"


libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.3.0",
  "org.apache.spark" %% "spark-sql" % "2.3.0"

)

файлы входных данных имеют 3 столбца данных, как показано ниже: 11,Марути, свифт

22, бмв, бенз