Spark2.3: MutableInt не может быть приведен к MutableLong - PullRequest
Новая
       21

Spark2.3: MutableInt не может быть приведен к MutableLong

0 голосов
/ 22 апреля 2019

Я использую spark2.3, я получаю ошибку ниже.Я нашел этот тип многих исключений в Интернете, но не нашел никакого решения, может кто-нибудь помочь 

Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.MutableInt cannot be cast to org.apache.spark.sql.catalyst.expressions.MutableLong
    at org.apache.spark.sql.catalyst.expressions.SpecificInternalRow.setLong(SpecificInternalRow.scala:283)
    at org.apache.spark.sql.execution.datasources.parquet.ParquetRowConverter$RowUpdater.setLong(ParquetRowConverter.scala:169)
    at org.apache.spark.sql.execution.datasources.parquet.ParquetPrimitiveConverter.addLong(ParquetRowConverter.scala:87)
    at org.apache.parquet.column.impl.ColumnReaderImpl$2$4.writeValue(ColumnReaderImpl.java:274)
    at org.apache.parquet.column.impl.ColumnReaderImpl.writeCurrentValueToConverter(ColumnReaderImpl.java:371)
    at org.apache.parquet.io.RecordReaderImplementation.read(RecordReaderImplementation.java:406)
    at org.apache.parquet.hadoop.InternalParquetRecordReader.nextKeyValue(InternalParquetRecordReader.java:198)
    ... 23 more

Насколько я понимаю, есть файл с несколькими паркетами, и некоторые имеют целочисленный тип данных, а некоторые имеют длинный,Я не знаю почему?Потому что паркетные файлы сами создаются искрой, которые читаются при другой искровой работе.Во время создания паркета я не даю никакой схемы.

...