Как вставить данные задним числом в Hive Table? - PullRequest
Новая
       59

Как вставить данные задним числом в Hive Table?

0 голосов
/ 08 июня 2018

Я новичок в этой технологии.Мы получаем файл, который может содержать записи задним числом.Из которого мы должны загрузить данные в таблицу улья, которая будет только вставлена ​​(разделена на trans_Date).Мне нужно знать, каким должен быть механизм для вставки записей в таблицу, где задано задание trans_date.Trans_date (столбец) - это дата транзакции, а Record_date (столбец) - это дата, в которую запись вставляется в таблицу.

1 Ответ

0 голосов
/ 08 июня 2018

Вы можете сделать это несколькими способами и на самом деле использовать разные инструменты.

Создать таблицу приращений поверх новой директории файлов, или использовать команду LOAD, чтобы поместить файлы в таблицу приращений, или использовать *Команда 1004 * для того же.

Ну, теперь у вас есть таблица с добавочными данными.

Следующий шаг - загрузка в основную таблицу в соответствующие разделы, если вы вставляете только, без обновлений , используете 

INSERT INTO TABLE PARTITION(trans_date)
select col1, col2, trans_date from incr_table; --filter if necessary

Удалять incr_table или удалять только данные из таблицыувеличить местоположение и повторно использовать таблицу.Или раздел incr_table по record_date (или file_date), если применимо, и никогда не удаляйте, загружайте и выбирайте новый раздел.

Если вам нужно обновить старые записи с помощью добавочных данных, см. Этот ответ: https://stackoverflow.com/a/37744071/2700344

...