Я пытаюсь использовать функцию row_number (), чтобы найти последнюю строку в каждом разделе в Spark / Scala.Поскольку длина каждого раздела различна, я не могу поставить фиксированное число на месте.
По сути, я пытаюсь использовать такое утверждение, как
.withColumn("XYZ", when(row_number(FINAL) = value, "X").otherwise("Y"))
Какие-нибудь идеи о функциях, которые позволили бы мне сделать это?