PySpark - как обновить Dataframe с помощью объединения?

Question

У меня есть фрейм данных a:

id,value
1,11
2,22
3,33

И еще один фрейм данных b:

id,value
1,123
3,345

Я хочу обновить фрейм данных a со всеми соответствующими значениями из b (на основе столбца id').

Конечный фрейм данных' c 'будет выглядеть следующим образом:

id,value
1,123
2,22
3,345

Как этого добиться, используя объединения данных (или другой подход)?

Попытка:

a.join(b, a.id == b.id, "inner").drop(a.value)

Дает (не желаемый вывод):

+---+---+-----+
| id| id|value|
+---+---+-----+
|  1|  1|  123|
|  3|  3|  345|
+---+---+-----+

Спасибо.

Answer 1

Я не думаю, что есть обновление функциональности. Но это должно работать:

import pyspark.sql.functions as F

df1.join(df2, df1.id == df2.id, "left_outer") \
   .select(df1.id, df2.id, F.when(df2.value.isNull(), df1.value).otherwise(df2.value).alias("value")))