Hive → Kafka: не удалось вставить во внешнюю таблицу интеграции hive kafka - PullRequest
0 голосов
/ 17 июня 2020
#Exception I got:
Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.io.ParquetHiveRecord cannot be cast to org.apache.hadoop.hive.kafka.KafkaWritable

    #create non-native external hive table    
    CREATE EXTERNAL TABLE IF NOT EXISTS weatherHive(lng DOUBLE, lat DOUBLE, avg_tmpr_f DOUBLE, avg_tmpr_c DOUBLE, wthr_date STRING) PARTITIONED BY (year INT, month INT, day INT) TBLPROPERTIES ('kafka.topic' = 'weatherHive', 'kafka.bootstrap.servers'='sandbox-hdp:6667', "kafka.serde.class"="org.apache.hadoop.hive.serde2.avro.AvroSerDe" );
    #insert test data 
    INSERT INTO TABLE weatherHive VALUES (-111,22,80,23,'2016-10-01',2020, 10 ,1 );

Тогда у меня исключение, что мне делать, что мне нужно сделать с jar обработчика? который я загрузил в улей:

add add jar hdfs://sandbox-hdp.hortonworks.com:8020/sandbox/jars/kafka-handler-3.1.2000.7.0.3.0-79.jar;

1 Ответ

0 голосов
/ 17 июня 2020

Вероятно, вам не хватает класса "org. apache .had oop .hive.kafka.KafkaSerDe". Проверьте этот ответ .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...