Удалить Array Column из массива pyspark

Question

Предположим, у меня есть следующая структура данных в фрейме данных pyspark:

arr1:array
   element:struct
     string1:string
     arr2:array
         element:string
     string2: string

Как я могу удалить arr2 из моего фрейма данных?

Answer 1

Вы можете использовать только функцию drop. Способ выбора вложенных столбцов осуществляется с помощью .

Как window.start и window.end. Вы можете получить доступ к arr2 как arr1.element.arr2.

df.drop(df.element.arr2)