Pyspark разделение никто - PullRequest
       1

Pyspark разделение никто

0 голосов
/ 01 ноября 2019

Window.partitionBy('OBJVERSION') выполняется динамически в моем коде pyspark. Есть сценарии, когда partitionBy('Col') не требуется. Как мне установить partitionBy(none).

df2 = df.withColumn('row_num', row_number().over(Window.partitionBy('OBJVERSION').orderBy('OBJVERSION'))).filter('row_num==1').drop('row_num')
...