Есть ли решение проблемы Hive - Two Reader? - PullRequest
Новая
       152

Есть ли решение проблемы Hive - Two Reader?

0 голосов
/ 04 ноября 2019

Мы столкнулись с проблемой ниже в таблицах кустов версии HDP (Hive 3.1.0.3.1.0.0-78) после того, как мы выполнили операции объединения в управляемой таблице кустов.

Пока мы выбираем, она выбрасываетприведенная ниже ошибка, 

Caused by: java.lang.RuntimeException: java.io.IOException: java.io.IOException: Two readers for {originalWriteId: 20, bucket: 536870912(1.0.0), row: 397640, currentWriteId 35}: new [key={originalWriteId: 20, bucket: 536870912(1.0.0), row: 397640, currentWriteId 35}, nextRecord={2, 20, 536870912, 397640, 35, null}, reader=Hive ORC Reader(hdfs://dl/warehouse/tablespace/managed/hive/dl_prod.db/sourcetbl/delete_delta_0000035_0000044/bucket_00001, 9223372036854775807)], old [key={originalWriteId: 20, bucket: 536870912(1.0.0), row: 397640, currentWriteId 35}, nextRecord={2, 20, 536870912, 397640, 35, null}, reader=Hive ORC Reader(hdfs://dl/warehouse/tablespace/managed/hive/dl_prod.db/sourcetbl/delete_delta_0000035_0000044/bucket_00000, 9223372036854775807)]
INFO -  at org.apache.hadoop.mapred.split.TezGroupedSplitsInputFormat$TezGroupedSplitsRecordReader.initNextRecordReader(TezGroupedSplitsInputFormat.java:206)
INFO -  at org.apache.hadoop.mapred.split.TezGroupedSplitsInputFormat$TezGroupedSplitsRecordReader.<init>(TezGroupedSplitsInputFormat.java:145)
INFO -  at org.apache.hadoop.mapred.split.TezGroupedSplitsInputFormat.getRecordReader(TezGroupedSplitsInputFormat.java:111)
INFO -  at org.apache.tez.mapreduce.lib.MRReaderMapred.setupOldRecordReader(MRReaderMapred.java:157)
INFO -  at org.apache.tez.mapreduce.lib.MRReaderMapred.setSplit(MRReaderMapred.java:83)
INFO -  at org.apache.tez.mapreduce.input.MRInput.initFromEventInternal(MRInput.java:703)
INFO -  at org.apache.tez.mapreduce.input.MRInput.initFromEvent(MRInput.java:662)
INFO -  at org.apache.tez.mapreduce.input.MRInputLegacy.checkAndAwaitRecordReaderInitialization(MRInputLegacy.java:150)
INFO -  at org.apache.tez.mapreduce.input.MRInputLegacy.init(MRInputLegacy.java:114)
INFO -  at org.apache.hadoop.hive.ql.exec.tez.MapRecordProcessor.getMRInput(MapRecordProcessor.java:532)
INFO -  at org.apache.hadoop.hive.ql.exec.tez.MapRecordProcessor.init(MapRecordProcessor.java:178)
INFO -  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:266)

Также это регистрируется на сайте apache как ошибка.

https://issues.apache.org/jira/browse/HIVE-22318

Может кто-нибудь сталкивался с такими проблемами и есть ли альтернатива?

...