org.apache.spark.sql.AnalysisException: не удается разрешить `` AB` 'для заданных входных столбцов: не удается разрешить переменную в запросах spark sql

Question

Поэтому я использую API-интерфейсы Spark SQL в Scala.Я использую переменную внутри запроса.Ниже приведен фрагмент кода.DF2_VIEW - это представление, созданное для фрейма данных.

val x = 'AB'

val newDf = spark.sql(s"""select * from GLOBAL_TEMP.DF2_VIEW
             WHERE $x = SOME_FIELD_IN_DF2_VIEW""")

Это показывает мне ошибку

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot 
resolve '`AB`' given input columns: [COLUMNS NAMES IN DF2_VIEW]

Я использую Spark 2.2, scala 2.11.8 Дайте мне знать, если вам нужнолюбая другая информация.

Answer 1

Простой рабочий пример. Не уверен, что это то, что вам нужно:

val df = Seq(("Amy",20),("Tom",18)).toDF("Name","Age")
df.show()

val x = "Amy"

df.createOrReplaceTempView("DF2_VIEW")
val qry = s"""select * from DF2_VIEW where '${x}' = Name"""
spark.sql(qry).show(false)

Output:

+----+---+
|Name|Age|
+----+---+
|Amy |20 |
+----+---+