Как в Spark установить значение по умолчанию, если столбец имеет значение NULL?

Question

Я пытаюсь объединить 2 DataFrames в Spark Framework.

val final = mf1.join(mf2,mf1("KEY")===mf2("MOBILE_KEY"), "left").select(
        mf1("*"),
        mf2("MOBILE_TYPE")
    )
)

Следующий код работает, но возвращает значение null в столбце MOBILE_TYPE для некоторых записей.Как установить значение по умолчанию, если столбец имеет нулевое значение?

Answer 1

val final = mf1.join(mf2,mf1("KEY")===mf2("MOBILE_KEY"), "left").select(
        mf1("*"),
        mf2("MOBILE_TYPE")
    )
).withColumn("MOBILE_TYPE",when(col("MOBILE_TYPE").isNull,"DEFAULt_VALUE").otherwise(col("MOBILE_TYPE")))

withColumn и when API может работать.