Как заменить нули на целые числа условно Pyspark Dataframe

Question

Я пытаюсь (в пределах pyspark / spark).В частности, фрейм данных выглядит следующим образом:

ID    response_variable    id_name
id_1   NULL                 "randomidDKHFD"
id_2   NULL                 NULL
id_3   NULL                 "randomid86438"

Я хочу иметь возможность преобразовывать фрейм данных таким образом, чтобы всякий раз, когда id_name имел ненулевую запись, response_variable становился равным 1. Таким образом, в этом примере:

ID    response_variable    in_data
id_1   1                 "randomidDKHFD"
id_2   NULL                NULL
id_3   1                 "randomid86438"

Кто-нибудь знает, как это сделать?

Answer 1

Вы можете использовать withColumn и when для этого.

Python:

yourDf.withColumn("response_variable", when(col("id_name").isNotNull(), lit(1)).otherwise(col("response_variable")))

Scala:

yourDf.withColumn("response_variable", when(col("id_name").isNotNull, lit(1)).otherwise(col("response_variable")))