Может кто-нибудь подсказать, как добавить несколько пустых столбцов в фрейм данных pyspark.В настоящее время я делаю что-то вроде этого, но это не работает:
def add_columns(dataframe, column_list):
for col in column_list:
self = dataframe.withColumn(str(col), lit(None).cast(StringType())))
return dataframe
В выходной схеме после применения функции add_columns я получаю новый столбец в качестве объекта генератора genexpr в 0x7f41189d7e10: строка (nullable = true)