Не могли бы вы попытаться установить spark.sql.warehouse.dir в каталог вашего Hive Warehouse Directory вместо / user / hive / warehouse, а hive.metastore.uris для вашего экономичного сервера
val spark = SparkSession
.builder()
.appName("YourName")
.config("spark.sql.warehouse.dir", "/user/hive/warehouse")
.config("hive.metastore.uris", "thrift://localhost:9083")
.enableHiveSupport()
.getOrCreate()