Я хотел бы преобразовать строковый столбец данных фрейма «yyyyMMdd» в формат даты с сеансом spark (spark), а не с контекстом spark.
Поскольку я не работаю с контекстом spark (sc),Я не могу использовать следующий код, хотя он точно будет делать то, что я хотел бы:
.withColumn("column1",DF.to_date(F.col("column1"),"yyyyMMdd"))
Поскольку я не хочу преобразовывать столбец в метку времени, я также не хочу использоватьследующий код:
.withColumn("column1", unix_timestamp(col("column1"), "yyyyMMdd").cast("timestamp"))
Конечная цель - заменить прежний строковый столбец столбцом в формате даты.
Заранее большое спасибо!