не могу найти таблицу из улья с помощью spark-submi

Question

это мой простой код.

spark.sql("select * from default.some_table")

при использовании этого кода в zeppelin или spark-shell он отлично работает.

Но попробуйте spark-submit команда

произошла следующая ошибка

diagnostics: User class threw exception: org.apache.spark.sql.AnalysisException: Table or view not found:: `default`.`some_table`; line 1 pos 14;

любая помощь?

это моя команда отправки искры

spark-submit --class com.any.any.App  --master yarn --deploy-mode cluster app.jar

1020 * спасибо *

Answer 1

---

Решено !! необходимо установить hive.metastore.warehouse.dir при создании SparkSession !!

val spark = SparkSession
  .builder()
  .appName("mbp stream layer on nuri cluster")
  .config("hive.metastore.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()