Передать элемент списка в качестве входных данных для withColumn (Pyspark)

Question

Работа над кадром данных Spark, где я хочу настроить содержимое поля. Входные данные для корректировки поступают из списка, однако, когда я передаю информацию в списке в качестве аргументов, я получаю сообщение об ошибке:

AssertionError: col должно быть Column

fld = ["As_Of_Date","date_format('As_Of_Date,'yyyyMMdd')"]

df.withColumn(fld[0],fld[1])

, если я передаю его напрямую без списка, он работает. Что я делаю не так и что я должен изменить, чтобы это работало?

Answer 1

Вам не нужно указывать здесь функцию date_format.

fld = ['As_Of_Date',date_format('As_Of_Date','yyyyMMdd')]
df = df.withColumn(fld[0],fld[1])