Как вывести значения столбцов из pyspark dataframe в строку?

Question

Я работаю с набором данных и хочу создать текстовый блок из всех значений определенного столбца под названием «текст». Я пробовал следующие методы:

xp = positive.select("text").collect().map(_(0)).toList
#positive is the dataframes name, 'text' is the column name
xp = " ".join(positive['text])

Ни один из этих методов до сих пор не работал для меня и возвращает ошибку

'list' object has no attribute 'map'
Traceback (most recent call last):
AttributeError: 'list' object has no attribute 'map'

Answer 1

Вы, кажется, используете синтаксис Scala. list, возвращаемый collect, содержит Row объектов; вы можете просто получить доступ к атрибуту text каждого Row, используя выражение генератора , вместо использования map (который в любом случае не является методом list):

' '.join(row.text for row in positive.select('text').collect())