Spark SQL - исключение времени выполнения при определении схемы - PullRequest
Новая
       40

Spark SQL - исключение времени выполнения при определении схемы

0 голосов
/ 09 октября 2019

Я пытаюсь запросить таблицу в удаленной (локальной) базе данных кустов с моего ноутбука. Я использую sparj sql. Я могу подключиться к нему и получить последний раздел.

Но, однако, когда я пытаюсь получить столбец (скажем, pid), он выдает ошибку ниже: 

19/10/08 15:01:19 ERROR Table: Unable to get field from serde: org.apache.hadoop.hive.serde2.avro.AvroSerDe
java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException Encountered AvroSerdeException determining schema. Returning signal schema to indicate problem: Unable to read schema from given path: maprfs:/user/<database_name>//<table_name>/schema/partition_epoch=<partition_id>/xyz.avsc)

Caused by: java.net.MalformedURLException: unknown protocol: maprfs
    at java.net.URL.<init>(URL.java:600)
    at java.net.URL.<init>(URL.java:490)
    at java.net.URL.<init>(URL.java:439)
    at org.apache.hadoop.hive.serde2.avro.AvroSerdeUtils.determineSchemaOrThrowException

Я попытался использовать команду описать таблицу и попытался напечатать схему 

 Dataset<Row> descTable = spark.sql("desc db.tablename");
 descTable.printSchema();

Схема, которая была напечатана, кажется отключенной и не содержит никаких полей. Скорее, он печатает заголовки, описывающие поля 

root
|-- col_name: string (nullable = false)
|-- data_type: string (nullable = false)
|-- comment: string (nullable = true)

Я ожидаю что-то вроде этого 

pid  string   from deserializer

Код в конечном итоге завершается ошибкой, когда я запрашиваю с явными полями 

19/10/08 15:01:25 WARN HiveExternalCatalog: The table schema given by Hive metastore(struct<partition_epoch:string>) is different from the schema when this table was created by Spark SQL(struct<all fields and their type>,partition_epoch:string>). We have to fall back to the table schema from Hive metastore which is not case preserving.
19/10/08 15:01:25 ERROR: exception: cannot resolve '`pid`' given input columns: [db.tablename.partition_epoch]; line 1 pos 7;
cannot resolve '`pid`' given input columns: [db.tablename.partition_epoch]; line 1 pos 7;
'Project ['pid]
+- Filter (cast(partition_epoch#9 as int) = 1570500000)
   +- SubqueryAlias `db`.`tablename`
      +- HiveTableRelation `db`.`tablename`, org.apache.hadoop.hive.serde2.avro.AvroSerDe, [partition_epoch#9]

Ниже приведен код, который я использую для создания SparkSession и запроса к таблице 

SparkSession spark = SparkSession
            .builder()
            .master("local[*]")
            .appName("myApp")
    .config("spark.hadoop.javax.jdo.option.ConnectionURL","jdbc:mysql://url:3306/metastore?createDatabaseIfNotExist=false")
      .config("spark.hadoop.javax.jdo.option.ConnectionDriverName","com.mysql.jdbc.Driver")
            .config("spark.hadoop.javax.jdo.option.ConnectionUserName","username")
            .config("spark.hadoop.javax.jdo.option.ConnectionPassword","password")
            .config("hive.metastore.warehouse.dir", "hive")
            .enableHiveSupport()
            .getOrCreate();

Dataset<Row> productIds = spark.sql("select pid FROM db.tablename WHERE partition_epoch="+partitionEpoch);
System.out.println(productIds.collect());

Я искал hivemeta.uris в hive-site.xml в файле etc / hive / conf, но его не былоэта информация

Как устранить ошибку схемы и запросить таблицу .?

...