Можно ли использовать Apache Airflow для задач хореографии без планировщика?

Question

Я пытаюсь разработать архитектуру хореографии с использованием Apache Airflow Framework, но я не хочу, чтобы группы доступности баз данных запускались по расписанию.

Я прочитал, что фреймворк Apache Airflow можно использовать для сервисной хореографии. Но мне не нужно никакого планирования, мне просто нужна структура, чтобы получить хореографию между узлами рабочего процесса.

Можно ли использовать Apache Airflow без планировщика? Есть ли какие-либо другие фреймворки (Java или Python), которые вы мне порекомендуете для этого?

Спасибо! :)

Answer 1

Рабочий процесс Uber Cadence идеально подходит для сценариев организации сервисов. Этот ответ предоставляет дополнительную информацию.

Answer 2

Вы, безусловно, можете создавать внеплановые группы обеспечения доступности баз данных.

schedule_interval=None

. Для выполнения задачи вам потребуется запустить планировщик, что вы делаете следующим образом:

airflow trigger_dag my-dag

Что касаетсяальтернативы, я полагаю, все зависит от того, что вы пытаетесь достичь.Большинство решений для большой хореографии имеют некоторые графики, встроенные во время выполнения.Apache Beam - нет, но это более конкретно для преобразования данных и обработки потоков.

Самым близким может быть luigi: https://github.com/spotify/luigi. Это проект на python, который позволяет ставить задачи, такие как AirFlow.Кажется, нет планировщика.Похоже, у него гораздо более простой пользовательский интерфейс.