Как вернуть GenericInternalRow из искры udf - PullRequest
Новая
       3

Как вернуть GenericInternalRow из искры udf

0 голосов
/ 06 августа 2020

У меня есть искровый udf, написанный на scala, который принимает пару столбцов и применяет некоторые logi c и выводит InternalRow. Также присутствует искровая схема StructType. Но когда я пытаюсь вернуть InternalRow из UDF, возникает исключение

java .lang.UnsupportedOperationException: схема для типа org. apache .spark. sql .catalyst.GenericInternalRow не поддерживается 

  val getData = (hash : String, type : String) => {
    val schema = hash match {
      case "people" =>
        peopleSchema
      case "empl" =>  emplSchema
    }
    getGenericInternalRow(schema)
  }

  val data = udf(getData)

Версия Spark: 2.4.5

...