Как объединить два набора данных <Row>в Spark java?

Question

У меня есть два набора данных в Java Spark, например:

Я хочу получить объединенный набор данных, в котором есть все ключи обоих наборов данных и двух столбцов «val1» и «val2», ноль, если один отсутствует, например,

Я пробовал с fullouter join:

ds1.join(ds2,col("key1").equalTo(col("key")), "fullouter")

, но это работает, только если набор key1 равен значению key2.

Answer 1

В условии объединения есть тип, столбец во 2-м наборе данных должен быть "key2"

ds1.join(ds2,ds1("key1").equalTo(ds2("key2")), "fullouter")

Результат не будет иметь столбец "ключ", а - ключ1, ключ2, значение1, значение2.