Как получить одно значение из фрейма данных искры

Question

У меня есть кадр данных, как показано ниже:

Col1  Col2
1.2   9.8
3.4   8.8

Я хотел бы получить значение Col2 [2] одного значения из столбца

Как бы я достиг этого в spark

Я пробовал ниже код:

t = df[0].__getitem__("Col2")

Column<b'Col1[Col2]'>

Answer 1

Мы можем использовать .rdd для преобразования df в rdd, затем, используя lambda function, мы можем получить только Col2 из объекта строки!

df.show()
+----+----+
|Col1|Col2|
+----+----+
| 1.2| 9.8|
| 3.4| 8.8|
+----+----+

#to get col2 second row
df.collect()[1][1]
#8.8

#to get col2
df.rdd.map(lambda x:x.Col2).collect()
[9.8, 8.8]