Я хочу добавить индексный столбец в моем фрейме данных pyspark.я использую этот код:
from pyspark.sql import functions as f
cols = df.columns
df = df.rdd.zipWithIndex().toDF(cols + ['index']).withColumn('index', f.col('index'))
выдает эту ошибку: ValueError: не удалось преобразовать строку в число с плавающей точкой
даже мой тип столбца с плавающей точкой
какая-нибудь помощь?