Моя схема выглядит следующим образом
root
|-- source: string (nullable = true)
|-- results: array (nullable = true)
| |-- content: struct (containsNull = true)
| | |-- ptype: string (nullable = true)
| | |-- domain: string (nullable = true)
| | |-- verb: string (nullable = true)
| | |-- foobar: map (nullable = true)
| | | |-- key: string
| | | |-- value: string (valueContainsNull = true)
| | |-- fooId: integer (nullable = true)
|-- date: string (nullable = false)
|-- hour: string (nullable = false)
У меня есть df с вышеуказанными данными.Я хочу создать фрейм данных без fooId.Я не могу использовать drop, так как это вложенный столбец.
Хитрая часть: results является массивом и имеет content в качестве структуры.Внутри которого есть fooId
Какой самый чистый способ сделать это?