Spark Java редактировать данные в столбце

Question

Я бы хотел перебрать содержимое столбца в искре DataFrame и исправить данные в ячейке, если она удовлетворяет определенному условию

+-------------+
|column_title |
+-------------+
+-----+
|null |
+-----+
+-----+
|0    |
+-----+
+-----+
|1    |
+-----+

Допустим, я хочу показать что-то ещекогда значение столбца равно нулю, я пытался с

Column.when() DataSet.withColumn()

Но я не могу найти правильный метод, я не думаю, что было бы необходимо преобразовать в RDD ипереберите его.

Answer 1

Вы можете использовать when и equalTo или when и isNull.

Dataset<Row> df1 = df.withColumn("value", when(col("value").equalTo("bbb"), "ccc").otherwise(col("value")));

Dataset<Row> df2 = df.withColumn("value", when(col("value").isNull(), "ccc").otherwise(col("value")));

Если вы хотите заменить только нулевые значения, вы также можете использовать na и fill.

Dataset<Row> df3 = df.na().fill("ccc");