Изменить тип сложных (массив и структура) столбцов искры

Question

У меня есть Dataframe со следующей схемой:

root
 |-- id: long (nullable = true)
 |-- ... (other columns)
 |-- my_array_col: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- col_a: string (nullable = true)
 |    |    |-- col_b: date (nullable = true)

Как я могу изменить тип col_b на StringType?

Answer 1

Вы можете приводить произвольно глубокие массивы и структуры столбцов с помощью оператора приведения так:

.withColumn("my_array_col", col("my_array_col")
    .cast("array<struct<col_a: string, col_b: string>>")