У меня есть список столбцов в списке, который необходимо добавить с помощью столбца, например, как мы это делаем в scala, как показано ниже:
list.foldLeft(df){(tempDF, listValue) => tempDF.withColumn(listValue._1, listValue._2) }
Позвольте мне прояснить вопрос. у меня есть dataframe со структурой типов массивов, мне нужно сгладить каждый массив, используя explode, например: df.withcolumn (col1, explode (col1)), если нужно создать функцию generi c для передачи всех столбцов в один go как ты это делаешь? если я использую для l oop это удваивает данные для каждого оператора разнесения
Как вы можете сделать это в pyspark?