Объединить массив объектов в pyspark

Question

Рассмотрим следующий DF:

df = spark.createDataFrame(
    [
        Row(
            x='a',
            y=[
                {'f1': 1, 'f2': 2},
                {'f1': 3, 'f2': 4}
            ],
            z=[
                {'f3': 1, 'f4': '2'},
                {'f3': 1, 'f4': '4', 'f5': [1,2,3]}
            ]
        )
    ]
)

Я хочу объединить y и z по индексу, чтобы я мог получить:

[
    Row(x='a', y={'f1': 1, 'f2': 2}, z={'f3': 1, 'f4': 2}), 
    Row(x='a', y={'f1': 3, 'f2': 4}, z={'f3': 1, 'f4': 4, 'f5': [1,2,3]})
]

Как это можно сделать без преобразования вРДД