добавление двух определенных фреймов данных в фрейм данных spark scala для API spark

Question

У меня есть обработанный фрейм данных, который я хочу добавить к исходному фрейму данных.Но это кажется трудным в Spark Scala.Может ли кто-нибудь справиться с этим?попытался использовать withcolumn, но не сработало.Я перепробовал все написанное о переполнении стека.

пробовал Union и UnionAll (но он возвращает только первый фрейм данных)

Мои следующие идеи:

Преобразование фрейма данных в столбец и добавление (Ресурс не найден)

Вот мои printSchemas

схема печати 1

схема печати 2

Оба DataFrames имеют одну и ту же printSchema, которая называется "org.apache.spark.sql.DataFrame"

Метод объединения не работает, хотя они имеют одинаковое количество столбцов и принадлежат одной и той же схеме

Неудачное дело Союза

Answer 1

val dbDf3 = dbDf1.union(dbDf3);

Используйте вышеприведенный подход для объединения кадров данных.Здесь следует позаботиться о том, чтобы и dbDf1, и dbDf3 имели одинаковую структуру схемы.

Я использую этот подход.

Answer 2

Я думаю, что проблема с вашим кодом.Поскольку я пока не могу добавить комментарий, я добавлю его в качестве ответа.

В следующий раз добавьте пример кода с вашим вопросом.Трудно ответить на подобные вопросы.

var df = FirstDataFrame val dfprocessed = ProcessedDataFrame

Предполагая, что оба DataFrame имеют одинаковую схему,

Попробуйте df = df.union(dfprocessed)

Надеюсь, что этопоможет