Array_max spark. sql .функция не найдена

Question

Мне нужно использовать функции array_max и array_min из пакета org. apache .spark. sql .functions._ но обе функции не найдены?

scala> import org.apache.spark.sql.functions._
     import org.apache.spark.sql.functions._
scala>... array_max(col(..))
error: not found: value array_max

пс:

1. scala версия 2.11.8
2. версия версии 2.3.0.2.6.5.0-292
3. HDP 2.6.5

Answer 1

def array_max(e: org.apache.spark.sql.Column): org.apache.spark.sql.Column

Эта array_max функция недоступна в Spark 2.3 и доступна только с Spark 2.4.

Для справки, пожалуйста, проверьте ниже git репозитории .

Spark 2.3

• https://github.com/apache/spark/blob/branch-2.3/sql/core/src/main/scala/org/apache/spark/sql/functions.scala

Spark 2.4

• https://github.com/apache/spark/blob/branch-2.4/sql/core/src/main/scala/org/apache/spark/sql/functions.scala