Создание поля структуры в строке информационного кадра

Question

У меня есть код ниже, где я пытаюсь создать Spark DataFrame с полем, которое является структурой.Чем я должен заменить ???, чтобы заставить это работать.

import org.apache.spark.sql.types._
import org.apache.spark.sql.{DataFrame, Row, SparkSession}

val spark: SparkSession = SparkSession.builder()
  .appName("NodesLanesTest")
  .getOrCreate()
val someData = Seq(
  Row(1538161836000L, 1538075436000L, "cargo3", 3L, ???("Chicago", "1234"))
)
val someSchema = StructType(
  List(
    StructField("ata", LongType, nullable = false),
    StructField("atd", LongType, nullable = false),
    StructField("cargo", StringType, nullable = false),
    StructField("createdDate", LongType, nullable = false),
    StructField("destination",
      StructType(List(
        StructField("name", StringType, nullable = false),
        StructField("uuid", StringType, nullable = false)
      ))))
val someDF = spark.createDataFrame(
  spark.sparkContext.parallelize(someData),
  StructType(someSchema)
)

Answer 1

Вам не хватает объекта Row.Когда вы создаете кадр данных из последовательности Row объектов, ожидается, что StructType будет представлен как Row объекты, поэтому он должен работать для вас:

val someData = Seq(
  Row(1538161836000L, 1538075436000L, "cargo3", 3L, Row("Chicago", "1234"))
)

Надеюсь, это поможет.