Неопределенная функция: 'ST_GeomFromText' с использованием Spark / Java

Question

У меня есть следующий фрейм данных

------------------------------------------------------
|longitude  | latitude  | geomType |    geom          |
------------------------------------------------------    
|-7.0737816 |33.82666166|Polygon   |[GEOMETRY - 113 o]|
-------------------------------------------------------

Я хочу применить этот запрос к этому фрейму данных

Я использую следующий код

dataframe= sparkSession.sql("select ST_GeomFromText('POINT("+col("longitude")+" , '',"+col("latitude")+")')");

Я получаю эту ошибку

Exception in thread "main" org.apache.spark.sql.AnalysisException: Undefined function: 'ST_GeomFromText'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.

Обратите внимание, что я использую java язык на Spark

Мне нужна ваша помощь.

Спасибо

Answer 1

Поскольку ST_GeomFromText не является частью орг. apache .spark. sql. Функций, он не распознает его внутренне. Вам необходимо сначала определить UDF для этой функции. означает, что вам нужно определить определение этой функции, а затем зарегистрировать эту функцию с помощью spark как UDF, тогда только вы можете использовать эту функцию. Вы можете использовать следующий синтаксис: sqlContext.udf.register("ST_GeomFromText", <name of function or definition of function>)

Спасибо