Подключить java к Apache Spark Sql - PullRequest
Новая
       84

Подключить java к Apache Spark Sql

1 голос
/ 09 мая 2020

Я успешно настроил Had oop 3.2.1 на одном узле ОС Ubuntu. Я также настроил Spark версии 3.0.0-preview2. Хранилище метаданных по умолчанию - Derby.

Я успешно создал базу данных (dbname = d1) и таблицу (name = dm1) в HDFS, используя Spark.

Теперь я пытаюсь запросить его из Java с помощью Spark SQL, но получаю следующую ошибку: 

org.apache.spark.sql.AnalysisException: Table or view not found: d1.dm1; line 1 pos 14; 
'Project [*] 
 +- 'UnresolvedRelation [d1, dm1]

мой код ниже: 

SparkSession spark = SparkSession.Builder().master("local[*]").appName("testing").getOrCreate();    
Dataset<Row> data = spark.sql("select * from d1.dm1");

Подскажите, пожалуйста, в чем проблема?

...