Hive SerDe возвращает ошибку с помощью JSON твитов Flume - PullRequest
Новая
       44

Hive SerDe возвращает ошибку с помощью JSON твитов Flume

0 голосов
/ 01 сентября 2018

Я собираю данные из твиттера с помощью Flume и сохраняю их в формате JSON в HDFS. Я пытаюсь использовать Hive SerDe, чтобы поместить эти данные Твиттера в таблицу Hive, но получаю очень расстраивающую ошибку. 

hive> ADD JAR file:////home/ubuntu/hive/lib/hive-serdes-1.0-SNAPSHOT.jar;
Added [file:////home/ubuntu/hive/lib/hive-serdes-1.0-SNAPSHOT.jar] to class path
Added resources: [file:////home/ubuntu/hive/lib/hive-serdes-1.0-SNAPSHOT.jar]
hive>  CREATE EXTERNAL TABLE tweet (
    >    id BIGINT,
    >    created_at STRING,
    >    source STRING,
    >    favorited BOOLEAN,
    >    text STRING,
    >    in_reply_to_screen_name STRING
    >  ) 
    > 
    >  ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe'
    >  LOCATION '/user/ubuntu/twitter/';
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/apache/hadoop/hive/serde2/SerDe

Любая помощь будет оценена.

1 Ответ

0 голосов
/ 03 апреля 2019

У меня была та же проблема, однако я нашел способ ее решить:

  1. create table tweets(tweet string);
  2. load data inpath 'home/hduser/test.json' into table tweets;

Единственное отличие, которое вам теперь нужно будет использовать, get_json_object() для использования данных.

Как показано ниже: 

select get_json_object(tweet,'$.text') as tweet_text, get_json_object(tweet,'$.created_at') as created_at  from tweets;

Ссылка

...