Есть ли способ написать объединенный запрос, чтобы удалить null из файла и использовать в scala код с фильтром после извлечения из файла?

Question

Предположим, у меня есть файл на Had oop, для которого создана внешняя таблица:

criteria-column name
value-column1<>column2

Но column2 содержит некоторые значения NULL, поэтому он не фильтруется, и эти значения пропущено.

Есть ли способ, которым я записываю оператор объединения в файл в критериях столбца и который может работать с фильтром? Есть способ, которым я могу сделать это в коде перед фильтрацией, как показано ниже:

withColumn("column2",coalesce(col("column2"),lit(0)))

Но мне нужно получить утверждение из файла, чтобы его можно было использовать с фильтром, и я не Я не хочу менять код. Есть ли способ?

Answer 1

Это способ фильтрации на основе значения NULL для столбца -

val df = // dataframe containing 2 columns column1, column2. Column2 contains null

df.filter($"column2".isNull).map(// act on the rows where column2 is null)