Произошла ошибка при записи в Kudu с использованием Spark / Scala - PullRequest
Новая
       35

Произошла ошибка при записи в Kudu с использованием Spark / Scala

0 голосов
/ 06 ноября 2018

Я пытаюсь записать данные в Kudu из Spark, и я получаю эту ошибку 

   java.lang.UnsupportedOperationException at org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.decodeDictionaryIds(VectorizedColumnReader.java:296) at org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.readBatch(VectorizedColumnReader.java:174) at org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.nextBatch(VectorizedParquetRecordReader.java:230) at org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.nextKeyValue(VectorizedParquetRecordReader.java:137) at org.apache.spark.sql.execution.datasources.RecordReaderIterator.hasNext(RecordReaderIterator.scala:39) at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.hasNext(FileScanRDD.scala:105)

Пример кода: 

df.write.options(Map("kudu.master"-> "ip:7051",
                     "kudu.table"-> "test_kudu")).mode("append").kudu

Использованные библиотеки: 

org.apache.kudu:kudu-spark2_2.11:1.8.0  
org.apache.kudu:kudu-client:1.8.0

Спасибо!

...