перехватывать exceptionorg.apache.spark.sql.AnalysisException: таблица или представление не найдены

Question

Я пытаюсь запросить таблицу улья из кода spark scala и получаю сообщение об ошибке ниже:

catch exceptionorg.apache.spark.sql.AnalysisException: Table or view not found: `databaseName`.`register`; line 1 pos 35;
'Distinct
+- 'Project ['computer_name]
   +- 'UnresolvedRelation `databaseName`.`register`

job failed

Вот код для чтения данных из куста.

import org.apache.spark.sql.{SQLContext, SparkSession}
val hc = spark.sqlContext
val dbName = "databaseName"
val tblName = "register"
    val HostDF = hc.sql(s"""select distinct computer_name from ${dbName}.${tblName} """)

ЕслиЯ пробежал через spark-shell, не вижу никаких проблем и получаю данные.

Если я использую тот же код в коде spark scala (я имею в виду запуск jar в режиме кластера), я получаювышеупомянутая ошибка.

Может ли кто-нибудь сказать мне, что я делаю неправильно в коде против spark-shell?

Спасибо, Баб

Answer 1

Попробуйте устранить неполадки, заглянув в таблицы env или db / и сравните

печать значений conf

sqlContext.getAllConfs.foreach(println _)

или печать имен баз данных и таблиц

sqlContext.tableNames().foreach(println _)