где можно найти определение оконных функций Spark / scala

Question

Я пытаюсь найти подпись и объяснение функции rank в Spark, но не смог.Где я могу найти это?

Я пробовал это https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package, но я не вижу rank там

Answer 1

Как я уже писал в комментарии выше, rank находится в org.apache.spark.sql.functions объекте .Window - это класс в пакете org.apache.spark.sql.expressions.Вы можете найти его здесь .

window, с другой стороны, - с строчной буквой w - это функция в org.apache.spark.sql.functions объекте.Как и в вашем примере, в нижнем регистре window используется со временным столбцом для объединения строк или генерации кувырков. Примеры можно найти по приведенной выше ссылке.Просто введите "окно" в строке поиска для org.apache.spark.sql.functions объекта.

Надеюсь, это поможет!