Я пытаюсь запустить скрипт pyspark. В этом сценарии я выполняю запрос sql и создаю фрейм данных после того, как пытаюсь изменить позицию последнего столбца на первый, но это дает мне ошибку. Не могли бы вы помочь мне, как это сделать?
код:
if(masterjobname.endswith('ADDR_Phani')):
df = sqlContext.sql(query)
print("Target: "+targetpath )
w = (Window().orderBy("SOURCE_COLUMN_VALUE"))
df = df.withColumn("SYSTEM_ID", dense_rank().over(w))
cols = df.columns.tolist()
cols = cols[-1:] + cols[:-1]
df = df[cols]