Задание Talend Spark - java .lang.UnsupportedOperationException: Не реализованный тип: DecimalType (38,12) - PullRequest
0 голосов
/ 06 апреля 2020

Задание Talend начало генерировать исключение, когда тип данных столбца куста изменился с десятичный ( 30 , 12) на десятичный ( 38 , 12)

Иов пытается прочитать таблицу. Я могу читать tabe из spark-shell и beeline.

Вызвано: java .lang.UnsupportedOperationException: Не реализованный тип: DecimalType (38,12) в орг. apache .spark. sql .execution.datasources.parquet.VectorizedColumnReader.readIntBatch (VectorizedColumnReader. java: 369) на орг. в организации. apache .spark. sql .execution.datasources.parquet.VectorizedParquetRecordReader.nextBatch (VectorizedParquetRecordReader. java: 230) в организации. apache .spark. sql .execution.datasources.parquet. VectorizedParquetRecordReader.nextKeyValue (VectorizedParquetRecordReader. java: 137) в org. apache .spark. sql .execution.datasources.RecordReaderIterator.hasNext (RecordReaderIterator. scala: 39) в org. sql .execution.datasources.FileScanRDD $$ anon $ 1.hasNext (FileScanRDD. scala: 105) в org. apache .spark. sql .execution.datasources.FileScanRDD $$ anon $ 1.nextIterator (FileScanRD . scala : 177) в орг. apache .spark. sql .execution.datasources.FileScanRDD $$ anon $ 1.hasNext (FileScanRDD. scala: 105) в орг. apache .spark. sql .catalyst .expressions.GeneratedClass $ GeneratedIterator.scan_nextBatch $ (неизвестный источник) в org. apache .spark. sql .catalyst.expressions.GeneratedClass $ GeneratedIterator.processNext (неизвестный источник) в org. apache .spark. sql .execution.BufferedRowIterator.hasNext (BufferedRowIterator. java: 43) в орг. apache .spark. sql .execution.WholeStageCodegenExec $$ anonfun $ 8 $$ anon $ 1.hasNext (WholeStageCodegenExe scala). *: 395) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 408) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 408) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 408) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 408) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 408) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 408) в org. apache .spark .shuffle.sort.BypassMer geSortShuffleWriter.write (BypassMergeSortShuffleWriter. java: 125) в org. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 96) в org. * 1064k. ShuffleMapTask. scala: 53) в орг. apache .spark.scheduler.Task.run (Task. scala: 108) в орг. apache .spark.executor.Executor $ TaskRunner.run (Исполнитель. scala: 338) в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) в java .util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java 6):

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...