Может ли предложение Spark Dataframe принимать переменную в качестве аргумента?

Question

Я работаю где пункт из Spark Dataframe. Когда я помещаю строковую переменную в качестве аргумента, я получаю сообщение об ошибке. Если я скопирую эту строку и добавлю ее в запрос, это сработает.

val a = """col("foo")==="bar" || col("abc")==="def""""
val df = df_.where(a)

org.apache.spark.sql.catalyst.parser.ParseException:

== SQL ==
col("foo")==="bar" || col("abc")==="def"
---------------^^^

Если я пытаюсь без использования переменной, это работает.

val df = df_.where(col("foo")==="bar" || col("abc")==="def")

Answer 1

Не как String, но вы можете сохранить условие where как значение типа Column, как показано ниже:

import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

val df = Seq(
  ("bar", "x"), ("zz", "y"), ("mm", "def")
).toDF("foo", "abc")

val cond: Column = col("foo") === "bar" || col("abc") === "def"

df.where(cond).show
// +---+---+
// |foo|abc|
// +---+---+
// |bar|  x|
// | mm|def|
// +---+---+

Answer 2

Если выражение является строкой, это должен быть синтаксически допустимый SQL, т.е.

"""foo = 'bar' AND abc = 'def'"""