Как я могу перебрать столбец искрового фрейма данных и получить доступ к значениям в нем по одному?

Question

У меня есть искровой датафрейм Вот оно

Я хотел бы получить значения столбца одно за другим, и мне нужно присвоить его какой-то переменной? Как это можно сделать в pyspark. ясность в вопросе

Answer 1

col1=df.select(df.column_of_df).collect()
list1=[str(i[0]) for i in col1]
#after this we can iterate through list (list1 in this case)

Answer 2

Я не совсем понимаю, о чем вы спрашиваете, но если вы хотите сохранить их в переменной вне тех фреймов данных, которые предлагает Spark, лучший вариант - выбрать нужный вам столбец и сохранить его как серию панд ( если их не много, потому что ваша память ограничена).

from pyspark.sql import functions as F

var = df.select(F.col('column_you_want')).toPandas()

Тогда вы можете повторять его, как обычный ряд панд.