Я использую UDF для извлечения данных из таблицы HIVE. У моей исходной таблицы кустов есть столбцы в json, в моем UDF я анализирую json и получаю значение.Но запрос не может быть опубликован:
java.lang.ClassCastException: org.apache.hadoop.io.Text не может быть приведен к org.apache.hadoop.io.ArrayWritable в org.apache.hadoop.hive.ql.io.parquet.write.ParquetRecordWriterWrapper.write (ParquetRecordWriterWrapper.java:88) в org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp (FileSinkOperator.java:6455)
1006 * "
Полное сообщение об ошибке:
Ошибка: java.lang.RuntimeException: java.lang.ClassCastException: org.apache.hadoop.io.Text не может быть приведен к org.apache.hadoop.io.ArrayWritable в org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce (ExecReducer.java:283) в org.apache.hadoop.mapred.ReduceTask.runOldReducer (ReduceTask.j)444) в org.apache.hadoop.mapred.ReduceTask.run (ReduceTask.java:392) в org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:163) в java.security.AccessController.doPrivile (Собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1595) в org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:158) Причина: java.lang.ClassCastException: org.apache.hadoop.io.Text не можетбыть приведенным к org.apache.hadoop.io.ArrayWritable в org.apache.hadoop.hive.ql.io.parquet.write.ParquetRecordWriterWrapper.write (ParquetRecordWriterWrapper.java:88) в org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp (FileSinkOperator.java:645) в org.apache.hadoop.hive.ql.exec.Operator.forward (Operator.java:793) в org.apache.hadoop.hive.ql.exec.SelectOperator.processOp (SelectOperator.java:87) в org.apache.hadoop.hive.ql.exec.Operator.forward (Operator.java:793) в org.apache.hadoop.hive.ql.exec.CommonJoinOperator.internalForward (CommonJoinOperator.Java: 638) в org.apache.hadoop.hive.ql.exec.CommonJoinOperator.genAllOneUniqueJoinObject (CommonJoinOperator.java:670) в org.apache.hadoop.hive.ql.exec.CommonJoinOperator.chebOjOjOj.Oj.Oj.Oj.Oj.Oj.Oj.Oj.Oj.Oj.Oj.Oj.OjBв org.apache.hadoop.hive.ql.exec.JoinOperator.endGroup (JoinOperator.java:256) в org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce (ExecReducer.java:216) ... еще 7