toDF () не поддерживается

Question

Я очень новичок в Scala. Я пытаюсь преобразовать Iterable[dataSet[Row]] в кадр данных. Это не работает для меня. Вот код

def execute(spark: SparkSession,
          input: Iterable[Dataset[Row]],
          execParams: Map[String, String]): Dataset[Row] = {

val spark: SparkSession = SparkSession.builder.master("local").getOrCreate
val sparkSession: SparkSession = SparkSession.builder().getOrCreate()
import sparkSession.implicits._

val jsonSeq = Seq(input)
val jsonRDD = sparkSession.sparkContext.parallelize(jsonSeq)
val jsonDF = jsonRDD.toDF()
}

Answer 1

Вы можете сначала преобразовать в Dataset, а затем преобразовать в Dataframe

def execute(spark: SparkSession,
          input: Iterable[Dataset[Row]],
          execParams: Map[String, String]): Dataset[Row] = {
    import spark.implicits._

    val jsonSeq = Seq(input)
    val jsonRDD = spark.sparkContext.parallelize(jsonSeq)
    val jsonDF = spark.createDataset(jsonRDD).toDF()
}

Если вам не нравится преобразование в набор данных, вы можете указать тип СДР:

val jsonRDD: RDD[Iterable[Dataset[Row]]] = spark.sparkContext.parallelize(jsonSeq)
val jsonDF = spark.createDataFrame[Iterable[Dataset[Row]]](jsonRDD).toDF()