f = lambda x: str(x)
with SparkContext("local", "HelloWorld") as sc:
spark = SQLContext(sc)
spark.udf.register("f", f)
Этот код работает для регистрации питона udf один раз, поэтому его можно вызвать, например, с помощью:
%sql "select f(col_name) from table_name"
Но функция не изменится при следующем вызове (после того, как f былпереопределены)!Как переопределить udf, т.е. перерегистрировать его так, чтобы перезаписать старый udf.Есть ли функция drop_udf и т. Д .?