может вызвать работу воздушного потока в течение секунд?

Question

Я пытался запускать задание воздушного потока более двух раз в секунду через api rest air air rest и обнаружил, что только триггер был успешным. А если вы планируете задание воздушного потока, минимальное время составляет 1 секунду.

Итак, есть ли способ запустить задание воздушного потока за доли секунды?

Answer 1

Вы не описали свой вариант использования, но в основном говорили: Apache Воздушный поток создан для запланированных пакетных заданий, я советую вам не go ниже часового интервала.
Если вы обнаружите, что нужна более частая обработка, возможно, Airflow не является платформой для вас, и если мы говорим о дополнительных секундах, подумайте о выборе потоковой платформы, например Kafka Streams , Apache Spark , NiFi или StreamSets .