Когда подзапрос HIVE возвращает ноль, я получаю ожидаемый результат, но когда он возвращается пустым, я получаю исключение времени выполнения - PullRequest
Новая
       4

Когда подзапрос HIVE возвращает ноль, я получаю ожидаемый результат, но когда он возвращается пустым, я получаю исключение времени выполнения

0 голосов
/ 06 марта 2020

Мне нужно выполнить запрос с требованием, например, когда подзапрос возвращает ноль, или пустой запрос должен вернуть x, иначе y. Когда подзапрос возвращает ноль, я получил ожидаемый результат, но когда он возвращается пустым, я получил исключение времени выполнения. Ниже приведен запрос HIVE. 

select case when a.x is null then 'x' else 'y' end from (select 1 x from dual where 1 = 1) a;

Приведенный выше запрос работает, как и ожидалось, но при изменении запроса, как показано ниже, причина, по которой подзапрос возвращается пустым, когда предложение WHERE равно 1 = 2, вместо этого получил результат как пустой из х или у. 

 select case when a.x is null then 'x' else 'y' end from (select 1 x from dual where 1 = 2) a;

ниже выводится 

+------+--+
| _c0  |
+------+--+
+------+--+

Итак, я повторно сделал запрос, как показано ниже 

select case when a.x is null then 'x' when a.x = '' then 'x' else 'y' end from (select 1 x from dual where 1 = 2) a;

Когда я выполнил вышеуказанный запрос, я получил следующее исключение. 

2020-03-06 05:57:21,767 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:449)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1707)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106)
    ... 9 more
Caused by: java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
    at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38)
    ... 14 more
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106)
    ... 17 more
Caused by: java.lang.RuntimeException: Map operator initialization failed
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:147)
    ... 22 more
Caused by: org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException: "boolean" is expected after WHEN, but "void" is found
    at org.apache.hadoop.hive.ql.udf.generic.GenericUDFWhen.initialize(GenericUDFWhen.java:64)
    at org.apache.hadoop.hive.ql.udf.generic.GenericUDF.initializeAndFoldConstants(GenericUDF.java:117)
    at org.apache.hadoop.hive.ql.exec.ExprNodeGenericFuncEvaluator.initialize(ExprNodeGenericFuncEvaluator.java:144)
    at org.apache.hadoop.hive.ql.exec.Operator.initEvaluators(Operator.java:954)
    at org.apache.hadoop.hive.ql.exec.Operator.initEvaluatorsAndReturnStruct(Operator.java:980)
    at org.apache.hadoop.hive.ql.exec.SelectOperator.initializeOp(SelectOperator.java:63)
    at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:385)
    at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:469)
    at org.apache.hadoop.hive.ql.exec.Operator.initializeChildren(Operator.java:425)
    at org.apache.hadoop.hive.ql.exec.FilterOperator.initializeOp(FilterOperator.java:66)
    at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:385)
    at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:469)
    at org.apache.hadoop.hive.ql.exec.Operator.initializeChildren(Operator.java:425)
    at org.apache.hadoop.hive.ql.exec.TableScanOperator.initializeOp(TableScanOperator.java:193)
    at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:385)
    at org.apache.hadoop.hive.ql.exec.MapOperator.initializeOp(MapOperator.java:431)
    at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:385)
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:126)

Таким образом, в основном происходит, когда подзапрос возвращает нулевой внешний запрос, выполняющийся как ожидалось, но когда подзапрос возвращает пустое исключение, генерирующее запрос. Может ли кто-нибудь дать мне знать, как обрабатывать пустые результаты из подзапроса в выражении HIVE CASE? Для вашей информации ниже двойная таблица. Я создал его в улье. 

select * from dual;
+-------------+--+
| dual.dummy  |
+-------------+--+
| X           |
+-------------+--+
...