Устраните следующую ошибку в потоковой передаче искры - PullRequest
Новая
       6

Устраните следующую ошибку в потоковой передаче искры

0 голосов
/ 17 сентября 2018

Я получаю эту ошибку, когда пытаюсь записать данные в HDFS.Работа отлично работает, и я получаю эту ошибку.Ясно, что существует проблема с данными. 

18/09/15 04:13:43 ERROR JobScheduler: Error running job streaming job 1536977640000 ms.0
java.util.NoSuchElementException: None.get
    at scala.None$.get(Option.scala:347)
    at scala.None$.get(Option.scala:345)
    at org.apache.spark.sql.execution.command.DataWritingCommand$class.metrics(DataWritingCommand.scala:49)
    at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand.metrics$lzycompute(InsertIntoHadoopFsRelationCommand.scala:46)
    at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand.metrics(InsertIntoHadoopFsRelationCommand.scala:46)
    at org.apache.spark.sql.execution.command.DataWritingCommandExec.metrics$lzycompute(commands.scala:100)
    at org.apache.spark.sql.execution.command.DataWritingCommandExec.metrics(commands.scala:100)
    at org.apache.spark.sql.execution.SparkPlanInfo$.fromSparkPlan(SparkPlanInfo.scala:58)
    at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:75)
    at org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.scala:654)
    at org.apache.spark.sql.DataFrameWriter.saveToV1Source(DataFrameWriter.scala:273)
    at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:267)
    at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:225)

Означает ли это, что в моем выводе нет ни одного в DStream?Ниже приведен код для записи DStream в HDFS 

outputDStream.repartition(100).foreachRDD((rdd: RDD[Transaction], time: SparkTime) => {
      val df = rdd.toDF

      val dfWithTimestamp = df.select("*").withColumn("current_timestamp",current_timestamp())

      dfWithTimestamp.write
          .mode(SaveMode.Overwrite)
          .save(s"${outputPath}")

    })
.
...