Недавно обновленные разделы в улье

Question

Есть ли способ в Hive SQL обновить все разделы через определенное время ?

У меня есть почасовые разделы, основанные на времени транзакции.Весьма вероятно, что запись транзакции поступает с опозданием на несколько часов и достигает более старого раздела.

Table1 : Hourly partitions
00
01
..
23

Table 2 : Daily partitions
After midnight above 24 partitions are aggregated into daily partition in Table2.

После создания этого ежедневного раздела набор транзакций приходит с опозданием иони добавляются в Таблицу1.Скажем, они добавлены в раздел с часовым делом.

Мне нужно определить, какие все разделы получили поздние обновления таким образом.Поэтому, если в этом есть необходимость, я пересчитываю данные о моих ежедневных разделах в таблице 2.

Answer 1

Я бы представил промежуточную таблицу с двумя столбцами: день и время последнего изменения.Каждый раз, когда поступают поздние записи, обновляйте эту таблицу новыми строками времени последнего обновления.

Таблица2 может использовать эту таблицу, чтобы проверить, было ли время последнего изменения> временем последнего выполнения задания.Если это так, сделайте расчет за этот день.