Не удалось найти таблицу Hive в Spark2 Scala

Question

У меня есть следующая функция:

def getMet(spark: SparkSession): DataFrame = {
  val spark = SparkSession.builder().appName("AB Test").enableHiveSupport().getOrCreate()

  val dfMet = spark.sql(s"""SELECT
  10,
  cod_entrep as ID_ENTITE,
  cod_entrep_assu as ID_ENTITE_GARANTE,
  id_notification,
  objet_metier as REF_EXT_OBJET_METIER,
  case when typ_mvt = "S" then 1 else 0 end as TOP_SUPP,
  case when typ_mvt = "S" then dt_capt else null end as DT_SUPP
  FROM dev_lkr_send.pz_send_notification""")
  }

, которая возвращает

исключение перехвачено: org.apache.spark.sql.AnalysisException: таблица или представление не найдено: pz_send_notification;line 10 pos 0

Таблица существует в Impala и выполнение тех же шагов на spark2-shell работает нормально.

Любая помощь?

Answer 1

Я только что нашел решение, мне нужно было указать файл hive-site.xml в команде выполнения с параметром - files .