Hadoop Hive Query: Multi-join

Question

Как мне сделать выборки в Hive? Я думаю, что могу совершить действительно очевидную ошибку, которая не так очевидна для меня ...

Ошибка, которую я получаю: FAILED: Parse Error: line 4:8 cannot recognize input 'SELECT' in expression specification

Вот мои три исходные таблицы:

aaa_hit -> [SESSION_KEY, HIT_KEY, URL]
aaa_event-> [SESSION_KEY,HIT_KEY,EVENT_ID]
aaa_session->[SESSION_KEY,REMOTE_ADDRESS]

... и я хочу вставить результат в таблицу результатов следующим образом:

result -> [url, num_url, event_id, num_event_id, remote_address, num_remote_address]

... где столбец 1 - это URL, столбец 3 - это первое «событие» на каждый URL, а столбец 5 - это первое REMOTE_ADDRESS, чтобы посетить этот URL. (Четные столбцы являются «счетчиками» предыдущего столбца.)

Таааааак ... что я тут не так сделал?

INSERT OVERWRITE TABLE result2
SELECT url, 
       COUNT(url) AS access_url, 
       (SELECT events.event_id as evt, 
               COUNT(events.event_id) as access_evt
        FROM   aaa_event events 
               LEFT OUTER JOIN aaa_hit hits 
                 ON ( events.hit_key = hit_key )
                 ORDER BY access_evt DESC LIMIT 1), 
       (SELECT sessions.remote_address as remote_address, 
               COUNT(sessions.remote_address) as access_addr
        FROM   aaa_session sessions 
               RIGHT OUTER JOIN aaa_hit hits 
                 ON ( sessions.session_key = session_key )
                 ORDER BY access_addr DESC LIMIT 1) 
FROM   aaa_hit
ORDER  BY access_url DESC;

Большое спасибо:)

Answer 1

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SubQueries

Hive поддерживает подзапросы только в ОТ предложения.

Вы не можете использовать подзапрос в качестве «столбца» в Hive.

Чтобы обойти это, вы захотите использовать этот подзапрос в предложении FROM и JOIN к нему. (ниже не будет работать, но это идея)

SELECT url, 
       COUNT(url) AS access_url, 
       t2.col1, t2.col2 ...
FROM   aaa_hit
JOIN (SELECT events.event_id as evt, 
               COUNT(events.event_id) as access_evt
        FROM   aaa_event events 
               LEFT OUTER JOIN aaa_hit hits 
                 ON ( events.hit_key = hit_key )
                 ORDER BY access_evt DESC LIMIT 1), 
       (SELECT sessions.remote_address as remote_address, 
               COUNT(sessions.remote_address) as access_addr
        FROM   aaa_session sessions 
               RIGHT OUTER JOIN aaa_hit hits 
                 ON ( sessions.session_key = session_key )
                 ORDER BY access_addr DESC LIMIT 1) t2
ON (aaa_hit.THING = t2.THING)

Проверьте https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins для получения дополнительной информации об использовании JOIN в Hive.

Answer 2

У вас нет операции GroupBy, Count - это агрегация.Только count (*) работает без предложения GroupBy.

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+GroupBy