Сравните кадры данных в Scala и запишите несовпадающие старые и новые столбцы в новый.

Question

У меня есть два df's

df1
ID | BTH_DT | CDC_FLAG | CDC_TS | CNSM_ID
123 | 1986-10-07 | I | 2018-10-10 05: 51: 24.000000941 |301634310
124 | 1973-02-15 | I | 2018-10-10 17: 12: 22.000000254 | 298910234

df2
ID | BTH_DT | CDC_FLAG | CDC_TS | CNSM_ID
123 |1986-10-07 | I | 2018-10-10 05: 51: 24.000000941 | \ c
124 | 1973-02-15 | I | 2018-10-10 17: 12: 22.000000254 | 298910234

Как мне сравнить два df и записать несоответствующие столбцы только для другого df?

ID | CNSM_ID
123 | 301634310
123 |\\ c

df2.except(df1)  

выше не служит цели

Answer 1

Как насчет

val diff1=df1.except(df2)
val diff2=df2.except(df1)
val join=diff1.unionAll(diff2)

Тогда join.select("id","CNSM_ID").