Я хочу сохранить и получить доступ к переменной куста в моем sql скрипте.
Я использую этот импорт
import org.apache.spark.sql.{Row, SaveMode, SparkSession}
val spark = SparkSession.builder().appName("Project Test1").enableHiveSupport().getOrCreate()
import spark.implicits._
import spark.sql
И сохраняю такую переменную
sql("""
set testvar='v1'
""")
Я могу получить доступ к этой переменной, когда использую Spark SQL в Scala
sql("select concat(${testvar},name) from table1 limit 2")
Однако я не могу получить доступ к этой переменной через sql интерпретатор
%sql
select concat(${testvar},name) from table1 limit 2
Он появляется как текстовое поле и не заменяет ключ значением переменной . Есть ли способ решить эту проблему? или я запускал SQL скрипты, используя Scala каждый раз, когда я хочу получить доступ к переменной куста ??
Спасибо,