Spark Scala копировать столбец с одного кадра данных на другой

Question

У меня есть измененная версия исходного кадра данных, на котором я выполнял кластеризацию. Теперь я хочу вернуть предсказанный столбец обратно в исходный DF (индекс в порядке, поэтому он соответствует).Как я должен это сделать?С этим кодом я получаю ошибку.

println("Predicted:")
dfWithOutput.show
println("Original:")
originalDF = originalDF.withColumn("cluster", dfWithOutput.col("prediction")

Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s) prediction#2121 missing from (list of columns in the original df)

Answer 1

вам нужно объединить два фрейма данных и затем выбрать интересующие вас столбцы