исключение времени выполнения при вставке в разделенную таблицу hive orc - PullRequest
0 голосов
/ 06 ноября 2018

, когда я пытаюсь вставить данные в секционированную таблицу hive orc, я получаю следующее исключение времени выполнения. Запрос - это не что иное, как простая вставка из секционированной таблицы hive. Обе исходные и целевые таблицы разделены

at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:565) at 

org.apache.hadoop.hive.ql.exec.tez.MapRecordSource.processRow(MapRecordSource.java:83) ... 17 more 

 Caused by: java.lang.NullPointerException at java.lang.System.arraycopy(Native Method) at 
        org.apache.hadoop.hive.ql.io.orc.DynamicByteArray.add(DynamicByteArray.java:115) at 
    org.apache.hadoop.hive.ql.io.orc.StringRedBlackTree.addNewKey(StringRedBlackTree.java:48) at 
    org.apache.hadoop.hive.ql.io.orc.StringRedBlackTree.add(StringRedBlackTree.java:55) at 
    org.apache.hadoop.hive.ql.io.orc.WriterImpl$StringTreeWriter.write(WriterImpl.java:1218) at 
    org.apache.hadoop.hive.ql.io.orc.WriterImpl$StructTreeWriter.write(WriterImpl.java:1743) at 
    org.apache.hadoop.hive.ql.io.orc.WriterImpl.addRow(WriterImpl.java:2412) at 
    org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:86) at 
    org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:764) at 
    org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:841) at 
    org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:88) at 
    org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:841) at 
    org.apache.hadoop.hive.ql.exec.TableScanOperator.process(TableScanOperator.java:133) at 
    org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:170) 
    at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:555) ... 18 more ]],
     Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:8, 
    Vertex vertex_1540158411191_10651_2_00 [Map 1] killed/failed due 
    to:OWN_TASK_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 
    killedVertices:0 (state=08S01,code=2)

Заранее спасибо!

1 Ответ

0 голосов
/ 07 ноября 2018

Запустите все эти команды и попробуйте вставить сейчас.

**hive.exec.dynamic.partition = true**
**hive.exec.dynamic.partition.mode = strict**
**hive.exec.max.dynamic.partitions.pernode = 100**
**hive.exec.max.dynamic.partitions = 1000**
**hive.exec.max.created.files = 100000**
**hive.error.on.empty.partition = false**
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...