Как создать фрейм данных из двух других фреймов?

Question

У меня есть два объекта данных с одним столбцом:

a = predictons_lr.select('prediction')
b = predictions_nb.select('prediction')

Я хотел бы создать один результирующий кадр данных, имеющий a и b в качестве столбцов. Я пробовал:

df_result = spark.createDataFrame([a, b])

но я получаю эту ошибку:

AssertionError: объект dataType py4j.java_gateway.JavaMember в 0x000002260F3D4240 должен быть экземпляром класса 'pyspark.sql.types.DataType'

Есть ли эффективный способ создания такого типа фрейма данных?

Answer 1

Если эти два столбца имеют одинаковый тип данных, вы можете просто объединить

a = predictons_lr.select('prediction')
b = predictions_nb.select('prediction')

new_df = a.union(b)