Зарегистрируйте UDAF в Spark sql

Question

Я хотел бы зарегистрировать класс UDAF (написанный на Scala или Python) и использовать его в Spark SQL.
Например:
Код макета

// mock code:
class MyUDAF extends UserDefinedAggregateFunction{
...
}

spark.udaf.registerJavaFunction("myagg", "MyUDAF",IntegerType)

Тогда я могу использоватьudaf непосредственно в spark sql следующим образом:

spark.sql("select myagg(field) from mytable group by something")

Spark предоставил только метод spark.udf.registerJavaFunction для регистрации класса UDF.

Кто-нибудь знает, как зарегистрировать UDAF?

Answer 1

Вы можете просто зарегистрировать его, используя Hive SQL.

spark.sql("CREATE FUNCTION myagg AS 'com.mysite.MyUDAF'")
spark.sql("select myagg(field) from mytable group by something")