У меня есть кадр данных df1 со столбцом col1, который имеет структуру:
StructField(recipientResource,ArrayType(StructType(List(StructField(resourceId,StringType,true),StructField(type,StringType,true))),true),true)
и другой фрейм данных df2 с col1, имеющий структуру:
StructField(recipientResource,StructType(List(StructField(resourceId,StringType,true),StructField(type,StringType,true))),true)
Для объединения df1.union (df2) я пытался привести столбец в df2, чтобы преобразовать его из StructType в ArrayType (StructType), однако все, что я пробовал, не сработало.
Может кто-нибудь подсказать, как поступить примерно так же.
Я новичок в pyspark, любая помощь приветствуется.