как определить первую запись в столбце pysaprk

Question

У меня есть фрейм данных со многими столбцами. Поэтому я должен идентифицировать первую запись столбца и назначить ей одно значение, а для других назначить другое значение, т.е.

if df[price].first_record = df[amt]
else

df[price] = df[amt]+df[delivery_charges]

как мне идентифицировать первую запись в столбец / фрейм данных

Answer 1

Это можно сделать следующим образом:

window = Window.orderBy('Id')
df.withColumn('row',f.row_number().over(window)).withColumn('price',f.when(f.col('row')==1,f.col('amt')).otherwise(f.col('amt')+f.col('delivery_charges'))).show()