В функциях Spark Window, Почему мы должны использовать drop () в конце

Question

Я новичок в оконных функциях Spark.Я реализую несколько примеров, чтобы узнать больше об этом.Посмотрите на приведенный ниже пример.Он использует drop () с withColumn ().Я также много искал в документах на спарк, но не мог понять его значение.

//Get the top record in each subject with the highest fee
val wSpec = Window.partitionBy($"Subject").orderBy($"Fee".desc)
val dfTop = input.withColumn("rn", row_number.over(wSpec)).where($"rn"===1).drop("rn") //Note: 'input' has my data 
dfTop.show()

Может кто-нибудь объяснить значение drop ()?Что, если я не использую drop ()?

Спасибо.

Answer 1

drop () используется для удаления столбцов, которые вам больше не нужны, ничего особенного.

Вы можете увидеть это сами просто:

//Commenting drop()
val dfTop = input.withColumn("rn", row_number.over(wSpec)).where($"rn"===1) //.drop("rn") //Note: 'input' has my data 
dfTop.show()

dfTop.drop("rn").show()
//"rn" column is gone

Answer 2

Почему нам нужно использовать drop () в конце

Мы не делаем.Мы делаем это для удаления временных объектов, которые больше не несут полезной информации.

Что если я не использую drop ()?

У вас будет еще один столбец, полный из них, не больше, не меньше.