toSeq.toDS (), дающий java.lang.NullPointerException

Question

Получение исключения nullpointer в w.toSeq.toDS() в приведенном ниже коде.

var w = new ListBuffer[String]()
jList match {
  case Some(x) => {
    for (record <- x) {
      w += mapper.writeValueAsString(record)
    }
  }
  case None => println(s"No data read from file : ${f}")
}

import spark.implicits._
val jsonDataSet = w.toSeq.toDS()

Есть идеи, что здесь не так?

Answer 1

Похоже, это не проблема с toSeq.toDS(). Часть кода, которым вы поделились, должна работать без каких-либо ошибок / исключений. Я подготовил тестовые данные, как показано ниже, и смог успешно работать. Пожалуйста, найдите образец кода, как показано ниже. Это должно быть проблемой с другим фрагментом кода. Я бы попросил вас поделиться всем кодом.

import org.apache.spark.sql.SparkSession
import scala.collection.mutable.ListBuffer

object TestToSeqToDs extends App {

  val spark = SparkSession
    .builder()
    .master("local")
    .appName("Test toSeq.toDS() function")
    .getOrCreate()

  def jList(): Option[Seq[String]] = {
    try {
      Some(Seq(("john"), ("Edward")))
    } catch {
      case e: Exception => None
    }
  }

  var w = new ListBuffer[String]()

  jList match {
    case Some(x) => {
      for (record <- x) {
        w += record
      }
    }
    case None => println("That didn't work.")
  }

  import spark.implicits._

  val jsonDataSet = w.toSeq.toDS()
   //OR
  val jsonDataSet = w.toDS()

  println(jsonDataSet.show())

+------+
| value|
+------+
|  john|
|Edward|
+------+

}

Спасибо!