PySpark - перебирать строки фрейма данных

Question

Мне нужно перебирать строки в pyspark.sql.dataframe.DataFrame.DataFrame.

В прошлом я делал это в пандах с помощью функции iterrows (), но мне нужно найти что-то подобное для pyspark без использования панд.

Если я делаю for row in myDF:, он перебирает столбцы. DataFrame

Спасибо

Answer 1

Вы можете использовать метод select для работы с вашим кадром данных, используя пользовательскую функцию, например, такую:

    columns = header.columns
    my_udf = F.udf(lambda data: "do what ever you want here " , StringType())
    myDF.select(*[my_udf(col(c)) for c in columns])

тогда внутри выбора вы можете выбрать, что вы хотите сделать с каждым столбцом.