Я создал таблицу образцов с помощью spark-shell.Записать структуру данных во внешнюю таблицу в формате ORC по разделам. Это рабочий файл с возможностью чтения и записи в оболочке spark.Но когда я попытался распространить тот же самый запрос выбора на оболочку улья, он выдал исключение.
Ниже код, который я реализовал
scala> val df = sc.parallelize (Seq ((1, "Sudhir", 30), (2, "Sourabh", 27), (3, "Suman", 35), (4, "Basu", 30))). ToDF ("id", "name", "age")
scala> df.write.partitionBy ("age "). format (" ORC "). mode (SaveMode.Append) .saveAsTable (" Abc1 ")
scala> val df3 = sqlContext.sql (" select * from abc1 ")
scala> df3.dropDuplicates (Seq ("id")). Show ()
Время выполнения: 0,486 секунды, Извлечено: улей 35 строк (sba_db_2018)> select * from Abc1;OK abc1.col Не удалось выполнить исключение. Java.io.IOException: java.io.IOException: hdfs: //nag1-vm-sprintba-11.synapse.com: 8020 / apps / hive / warehouse / sba_db_2018.db / abc1 / age= 27 / part-r-00001-31ebd621-02bb-4db5-9170-5405010e68fd.orc, а не файл SequenceFile: 0,147 секунд