Как вытащить из спектра красного смещения только определенный c набор папок в моем ведре, если оно строго структурировано по дате?
Моя структура s3 выглядит следующим образом s3://mybucket/stream2020/03/27/23/file3
Итак s3://mybucket/stream[year]/[month]/[day]/[hour]/file[1...n]
Я хочу создать новую работу, которая просто выполняет:
insert into [data_lake_table]
select * from spectrum.[external_table]
where [s3_folder_date]>[last_job_run_date]
and id not in (select id from [data_lake_table])
Является ли моя единственная возможность вручную разбить внешнюю таблицу?