UDF в Spark 1.6 Переназначение для ошибки val

Question

Я использую Spark 1.6

Приведенный ниже udf используется для очистки данных адреса.

sqlContext.udf.register("cleanaddress", (AD1:String,AD2: String, AD3:String)=>Boolean = _.matches("^[a-zA-Z0-9]*$"))

Имя UDF: cleanaddress Три входных параметра поступают из DataFrameстолбец, (AD1, AD2 и AD3).

Может кто-нибудь, пожалуйста, помогите мне исправить приведенную ниже ошибку.

Я пытаюсь написать udf, который принимает три параметра (3-адресный столбец данных кадра), вычислить и дать только записи фильтра.

Error:
Error:(38, 91) reassignment to val
    sqlContext.udf.register("cleanaddress", (AD1:String, AD2: String, AD3:String)=>Boolean = _.matches("^[a-zA-Z0-9]*$"))

Answer 1

Ваша логика не совсем понятна для вашего кода.Что вы можете сделать, это вернуть массив действительных адресов, например:

sqlContext.udf.register("cleanaddress", (AD1:String, AD2: String, AD3:String)=> Seq(AD1,AD2,AD3).filter(_.matches("^[a-zA-Z0-9]*$")))

Обратите внимание, что это вернет сложный столбец (то есть массив)