Проверьте нулевое значение столбца и замените его на CONSTANT в Spark DataFrame

Question

Я новичок в Spark и Scala.

Я создал DataFrame из CSV в Spark.В сгенерированном DataFrame есть столбец, который имеет нулевое значение для некоторых строк.

Я хочу проверить это нулевое значение и заменить его постоянным словом «Hello».

Как я могу сделать это в Spark?

Вот мой пример кода для создания кадра данных из CSV.

val DFCsv = spark.read.format("csv") .option("sep", ',') .option("inferSchema", "true") .option("header", "true") .load("/tmp/my.csv")
 DFCsv.show() 

Теперь один из столбцов в этом фрейме данных с именем "id" для некоторых строк является пустым или пустым / пустым.

Как я могу перебирать каждую строку по очереди изатем заполните столбец с именем "id" константой "Hello" String.

Answer 1

Один из самых простых способов - заключить нулевое значение с помощью параметра Option, а затем сопоставить его с шаблоном.

Option(null) gets converted to None
Option(null).getOrElse("Hello)