У меня есть данные в одном из столбцов dataframe со следующей схемой
<type 'list'>: [StructField(data,StructType(List(StructField(account,StructType(List(StructField(Id,StringType,true),StructField(Name,StringType,true),StructField(books,ArrayType(StructType(List(StructField(bookTile,StringType,true),StructField(bookId,StringType,true),StructField(bookName,StringType,true))),true),true)))))))]
Я хочу объединить их, извлеките каждое значение из него и создайте новый dataframe. Есть ли в pyspark встроенные функции, поддерживающие это, или я должен их повторить? Любой эффективный способ?