Union Row внутри строки данных PySpark Row

Question

Я хочу преобразовать мой Dataframe, который содержит строки внутри строк, в уникальную строку, например:

Мой dataframe:

[Row(Autorzc=u'S', Cd=u'00000012793', ClassCli=u'A' Op=Row(CEP=u'04661904', CaracEspecial='S', Venc=Row(v110=u'1', v120=u'2'))),
Row(Autorzc=u'S', Cd=u'00000012794', ClassCli=u'A' Op=Row(CEP=u'04661904', CaracEspecial='S', Venc=Row(v110=u'1', v120=u'2')))]

, и я хочу преобразовать его в:

[Row(Autorzc=u'S', Cd=u'00000012793', ClassCli=u'A', CEP=u'04661904', CaracEspecial='S', v110=u'1', v120=u'2'),
Row(Autorzc=u'S', Cd=u'00000012794', ClassCli=u'A', CEP=u'04661904', CaracEspecial='S', v110=u'1', v120=u'2')]

Есть предложения?

Answer 1

Вы можете выполнить простую операцию выбора, и ваши столбцы будут соответствующим образом переименованы.

final = initial.select("Autorzc","Cd" , "ClassCli", "Op.CEP"
       "Op.CaracEspecial","Op.Venc.v110","Op.Venc.v120")

print(final.first())