pyspark - выравнивает структуру массива

Question

root
|-- first_name: string
|-- last_name: string
|-- degrees: struct
|    |-- A: array
|    |   |-- element: struct
|    |   |   |-- school: string
|    |   |   |-- advisor1: string
|    |   |   |-- advisor2: string
     |-- B: array
|    |   |-- element: struct
|    |   |   |-- school: string
|    |   |   |-- advisor1: string
|    |   |   |-- advisor2: string
|    |   |   |-- attrn: string

Как мне упростить эту схему, чтобы упростить запросы с помощью улья.

Мне нужно разбить каждую строку так, чтобы

first_name,last_name,A,A.school,A.advisor1,A.advisor2, NULL
first_name,last_name,B,B.school,B.advisor1,B.advisor2, B.attrn