import org.apache.spark.sql.hive.orc._
import org.apache.spark.sql._
val sparksession=SparkSession.builder()
.master("local").appname("MyApp").enableHiveSupport.getOrCreate();
val Df1=sparksession.read.format("csv").option("header","false")
.option("inferSchema","false").load("file_loc/file_name")
Df1.createOrReplaceTempView("Temp_Table")
val Df2=sparksession.sql(select * from Temp_Table)
Я пытаюсь прочитать данные из временной таблицы, но при выборе данных из этой таблицы у меня возникает неполная проблема URI HDFS.
До Df1.createOrReplaceTempView("Temp_Table") строки все работает нормально , Но когда я выполняю последнюю строку, получая сообщения об ошибках ниже.
org.apache.spark.sql.AnalysisException:org.apache.hadoop.hive.q1.metadata.HiveException:MetadataException(message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))
Caused by:org.apache.hadoop.hive.ql.metadata.HiveException: MetadataException((message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))
Caused by:org.apache.hadoop.hive.metastore.api.MetadataException:MetadataException((message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))
Извлек все файлы конфигурации, но не смог найти номер порта, который будет установлен дважды где-то в файлах конфигурации, как упомянуто в сообщении об ошибке выше. Не могли бы вы дать намек на то, что еще мне нужно проверить, чтобы решить эту проблему? или есть ли способ установить это значение с помощью sparksession?