Читайте File spark, установите для поля, имеющего определенное значение, значение null или ""

Question

Я читаю текстовый файл, разделенный знаком | , Есть несколько полей, имеющих значение \ N. При чтении файла строка за строкой во фрейм данных, есть ли способ сделать поле со значением \ N равным нулю или "". Код указан ниже.

val inputDf = sqlContext.read.format("csv")
      .option("header", "true")
      .option("inferSchema", "false")
      .schema(myschema)
      .option("delimiter", "|")
      .option("nullValue", "")
      .load("My Input file Path")

Answer 1

«DataFrameNaFunctions» может использоваться для замены значения «\ N» во всех столбцах на «»:

df.na.replace(df.columns.toSeq, Map("\\N" -> ""))

Answer 2

Как только вы загрузите фрейм данных, используйте условие when для всех столбцов общим способом

inputDf.select(inputDf.columns.map(c=> when(col(c) === “\\N”,””).otherwise(col(c)).alias(c)):_*).show