SQL-запрос к паркетной таблице java.lang.UnsupportedOperationException - PullRequest
Новая
       28

SQL-запрос к паркетной таблице java.lang.UnsupportedOperationException

0 голосов
/ 05 октября 2018

Когда данные находятся в Hive как формат паркета и при попытке чтения из Spark, я сталкиваюсь с ошибкой: 

java.lang.UnsupportedOperationException: org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainBinaryDictionary
    at org.apache.parquet.column.Dictionary.decodeToFloat(Dictionary.java:56)

Я создал внешнюю таблицу улья и связал ее с данными паркета, находящимися вHDFS.Используемая команда: 

create external table tab1(col1 type , col2 type , col3 type ) STORED AS PARQUET LOCATION 'hdfs://someloc.parquet';

Когда я загрузил данные, я использовал API-интерфейс spark dataframe writer для записи данных в паркет. 

Dataset<Row> df = session.read().option("header", "true").csv(csvInput);
df.write().mode("append").parquet(parquetOutput);

Теперь я пытаюсь запросить spark sql для запросаtab1 

spark.sql("SELECT * FROM TAB1").show()

Я получаю вышеупомянутую ошибку

...