Историзация данных в Hive - PullRequest
       7

Историзация данных в Hive

0 голосов
/ 30 октября 2018

Мне нужно собрать данные из таблиц Hive. Данные из источников данных обновляются, а некоторые строки удаляются каждый день. Я написал следующий скрипт HiveQL для создания главной таблицы (init_table) для выбора моих столбцов из источника и другой таблицы (histo_table) для историзации, которая добавляет содержимое без дублирующихся строк, но у меня есть эта ошибка:

Ошибка при компиляции оператора: FAILED: строка ParseException 20:37 не может распознать ввод рядом с 'ini_table' 'group' 'by' в операторе

Любая помощь, пожалуйста?

INSERT OVERWRITE TABLE init_table
SELECT
Col1_t1, Col2_t1, Col3_t1, 
Col1_t2, Col2_t2, Col3_t2, Col4_t2


FROM tab1
JOIN tab2 ON 
(Col1_t1 = Col1_t2)
WHERE (Col2_t1 > current_date) ;


INSERT OVERWRITE TABLE histo
_table
SELECT 
hist.Col1_t1 ,

hist.Col2_t1 ,

hist.Col3_t1 ,

hist.Col1_t2 ,
hist.Col2_t2 ,
hist.Col3_t2 ,

hist.Col4_t2


FROM histo_table hist UNION DISTINCT init_table 
GROUP BY
hist.Col1_t1 ,

hist.Col2_t1 ,

hist.Col3_t1 ,

hist.Col1_t2 ,
hist.Col2_t2 ,
hist.Col3_t2 ,

hist.Col4_t2 ;

DESCRIBE init_table ;
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...