Почему тип ввода Spark UDF - это строка для столбца структуры?Как это реализовано в Spark? - PullRequest
0 голосов
/ 14 ноября 2018

Для одного столбца тип ввода UDF - это тип данных этого столбца, в то время как для столбца структуры тип ввода - Строка, почему и как это реализовано?

import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
val sub_schema = StructType(StructField("col1",ArrayType(IntegerType,false),true) :: StructField("col2",StringType,true)::Nil)
val schema = StructType(StructField("subtable", sub_schema,true) :: Nil)
val data = Seq(Row(Row(Array(1,2),"eb")),  Row(Row(Array(3,2,1), "dsf")) )
val rd = sc.parallelize(data)
val df = spark.createDataFrame(rd, schema)
df.printSchema

val u =  udf((x:Row) => x, sub_schema)

root
 |-- subtable: struct (nullable = true)
 |    |-- col1: array (nullable = true)
 |    |    |-- element: integer (containsNull = false)
 |    |-- col2: string (nullable = true)

SparkUDF для StructType / Row

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...