Создание UDF в искре

Question

Я пытаюсь создать постоянную функцию в spark, используя geomesa-spark-jts. Geomesa-spark-jts имеет огромный потенциал в более широком сообществе LocationTech. Сначала я загрузил geomesa-spark-jts, который содержит следующее

После этого я запустил искру вот так (я убедился, что баночка находится внутри пути)

Теперь, когда я использую ST_Translate, поставляемый с этим пакетом, он дает мне результат

Но проблема в том, что когда я пытаюсь определить ST_Translate как UDF, я получаю следующую ошибку

Answer 1

Баночка geomesa-accumulo-spark-runtime представляет собой заштрихованную банку с кодом из geomesa-spark-jts. Возможно, у вас возникли проблемы с определением классов в двух разных банках.

Answer 2

Чтобы использовать st_translate с ульем, я считаю, что вам нужно реализовать новый класс, который расширяет org.apache.hadoop.hive.ql.exec.UDF и вызывает функцию GeoMesa.

Answer 3

Упомянутые вами функции уже поддерживаются в GeoMesa 2.0.0 для Spark 2.2.0. http://www.geomesa.org/documentation/user/spark/sparksql_functions.html