Мы используем поток воздуха в качестве менеджера и планировщика рабочего процесса.
Requiremnet
1. У нас есть конвейер ETL, в котором данные ежечасно поступают в другом файле и должны обрабатываться после получения данных.
2- Данные за каждый час имеют предел отсечения, при котором они могут обновляться, и как только обновленные данные должны быть обработаны повторно.
Чтобы решить сначала, мы можем использовать датчик файла с почасовыми макросами, чтобы найти файл и начать обработку, как только станут доступны данные.
Для второго требования мы думали об использовании некоторого подзадачи / задачи, которая может выполняться с различной частотой до времени отключения и обрабатывать, если в данных есть какое-либо обновление.
Но в потоке воздуха мы не смогли найти что-то подобное, которое могло бы выполнять задачу / подзадачу с другой частотой.
Как мы можем этого добиться?