Отметка времени куста ошибочна как двоичная - PullRequest
Новая
       3

Отметка времени куста ошибочна как двоичная

0 голосов
/ 18 января 2019

Я пытаюсь вставить таблицу с запросом в кластер EMR в AWS. Таблица создается правильно, и коллега может запустить точно такой же код, который я использую, и он не подведет. Однако, когда я пытаюсь запустить код, я получаю сбои в Map1, которые приводят к сбою всей работы с ошибкой ниже для запроса ниже.

Может ли кто-нибудь помочь мне понять, почему моя работа не работает, когда я ее запускаю, но мой друг может запустить ее без проблем? Я смотрю на это целый день и не могу пройти мимо. 

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
----------------------------------------------------------------------------------------------
Map 1            container       RUNNING     13          0        0       13      40       1  
Map 3 .......... container     SUCCEEDED      1          1        0        0       0       0  
Map 5 .......... container     SUCCEEDED      1          1        0        0       0       0  
Map 7 .......... container     SUCCEEDED      1          1        0        0       0       0  
Map 8 .......... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 2        container        INITED      6          0        0        6       0       0  
Reducer 4 ...... container     SUCCEEDED      2          2        0        0       0       0  
Reducer 6 ...... container     SUCCEEDED      2          2        0        0       0       0  
Reducer 9 ...... container     SUCCEEDED      2          2        0        0       0       0  
----------------------------------------------------------------------------------------------
VERTICES: 07/09  [========>>------------------] 34%   ELAPSED TIME: 132.71 s   
----------------------------------------------------------------------------------------------
Status: Failed
Vertex failed, vertexName=Map 1, vertexId=vertex_1544915203536_0453_2_07, diagnostics=[Task failed, taskId=task_1544915203536_0453_2_07_000009, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : attempt_1544915203536_0453_2_07_000009_0:java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.IOException: java.lang.IllegalArgumentException: [
    at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:211)
    at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:168)
    at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:370)
    at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73)
    at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1840)
    at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61)
    at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37)
    at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.IOException: java.lang.IllegalArgumentException: [VALUE] BINARY is not in the store: 
    at

Ответы [ 2 ]

0 голосов
/ 23 января 2019

Так что получается, что проблема была векторизация. Это были настройки, которые будут активированы в начале сеанса. 

set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;

Не активировав его, он смог работать медленнее, но успешно. Кажется, улей не любит значение метки времени. Внизу ниже вики находится часть ограничений. Это определенно работает без этих опций.

https://cwiki.apache.org/confluence/display/Hive/Vectorized+Query+Execution

Таким образом, временные метки и векторизация не любят друг друга в улье .... Но только иногда ...

0 голосов
/ 18 января 2019

думаю по ошибке:

[tuning_event_start_ts] BINARY отсутствует в магазине

Самый важный момент: not in the store

Проверьте ваш запрос (только выберите без вставки).

В таблице содержится TUNING_EVENT_START_TS?

...