Невозможно выполнить запросы HIVE - PullRequest
Новая
       28

Невозможно выполнить запросы HIVE

0 голосов
/ 05 мая 2018

У меня есть table, созданный с помощью запроса HIVE в Cloudera VM, ниже мой DDL для создания таблицы с именем incremental_tweets. 

CREATE EXTERNAL TABLE incremental_tweets (
id BIGINT,
created_at STRING,
source STRING,
favorited BOOLEAN,
retweet_count INT,
retweeted_status STRUCT<
  text:STRING,
  user:STRUCT<screen_name:STRING,name:STRING>>,
entities STRUCT<
  urls:ARRAY<STRUCT<expanded_url:STRING>>,
  user_mentions:ARRAY<STRUCT<screen_name:STRING,name:STRING>>,
  hashtags:ARRAY<STRUCT<text:STRING>>>,
text STRING,
user STRUCT<
  screen_name:STRING,
  name:STRING,
  friends_count:INT,
  followers_count:INT,
  statuses_count:INT,
  verified:BOOLEAN,
  utc_offset:INT,
  time_zone:STRING>,
in_reply_to_screen_name STRING
)
ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe'
LOCATION '/twitteranalytics/incremental/';

После выполнения этого на HUE HIVE Editor таблица успешно создается. Теперь проблема в том, что я не могу выполнить оператор SELECT, который выдает следующую ошибку.

SELECT Statement 

 Select id, entities.user_mentions.name FROM incremental_tweets;

ERROR 

  Error while processing statement: FAILED: Execution Error, return code 2 
  from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Кроме того, поскольку HUE editor предоставляет функцию автозаполнения, ниже было приведено утверждение и выданная ошибка.

Statement 

Select id, entities.`,user_mentions`.name FROM incremental_tweets;

ERROR 

Error while compiling statement: FAILED: RuntimeException cannot find field 
,user_mentions(lowercase form: ,user_mentions) in [urls, user_mentions, 
hashtags]

Что правильно SELECT statement? Я пропускаю какой-либо синтаксис?

1 Ответ

0 голосов
/ 05 мая 2018

user_mentions - это массив структур. Вы можете обратиться к внутреннему элементу структуры только указав индекс массива: 

entities.user_mentions[0].name --get name from first array element

Или используйте explode() + lateral view, если хотите выбрать все элементы массива: 

select id, user_mention.name
from incremental_tweets 
     lateral view outer explode(entities.user_mentions) s as user_mention
;
...