PySpark - изменение типов данных для элементов вложенного массива

Question

Как я могу изменить тип строки на тип datetime в моих элементах вложенного массива (транзакция_дата)? Вот искра данных, которые у меня есть:

root
 |-- id
 |-- data: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- transaction: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- timestamp: string (nullable = true)
 |    |    |    |    |-- transaction_date: string (nullable = true)

Я пытался использовать этот код, но он возвращает ошибку:

df = df.withColumn("transaction_date", df.data.transaction.transaction_date.cast(TimestampType()))