Как дублировать таблицу разделов Hive

Question

У меня есть таблица со столбцом даты и раздел по этому столбцу даты в кусте. Скажем, сейчас есть 300 файлов деталей, и каждый день будет вставляться только одна запись, тогда моя таблица содержит 300 записей. Теперь я хочу создать дубликат таблицы с объединением всех файлов разделов в один. Как я могу это сделать Спасибо заранее

Answer 1

вы можете использовать функцию сжатия, предоставленную в улье

set hive.support.quoted.identifiers=none;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

    with partition_list as
    (
    select date, count(distinct input__file__name) cnt from table_name
    group by date having cnt > 0
    )
    insert overwrite table table_name partition (date)
    select * from table_name 
    where date in (select date from partition_list)