«нулевые» столбцы при создании производного столбца с использованием withColumns

Question

В моем фрейме данных у меня есть столбец с именем parent_asset_xid.

. Я хочу создать новый столбец parent_asset_sk, который будет md5(parent_asset_xid) или 00000000-0000-0000-0000-000000000000, если parent_asset_xid равен null.

Я пытаюсь что-то подобное, но я не уверен, как интегрировать часть md5 в эту

mydf.withColumn(
  "parent_asset_sk",
  when($"parent_asset_xid".isnull, "00000000-0000-0000-0000-000000000000")
)

Answer 1

У вас большая часть покрыта, вам просто нужно добавить otherwise к вам when,

val newDF = yourDF.withColumn(
  "parent_asset_sk",
  when(
    col("parent_asset_xid").isNotNull, 
    md5(col("parent_asset_xid"))
  ).otherwise(lit("00000000-0000-0000-0000-000000000000"))
)