В моей нынешней архитектуре платформы есть микросервис для загрузки / сбора данных, микросервис для ETL и другой микросервис для обработки некоторых сложных SQL сценариев.
Я хочу использовать Airflow для планирования и мониторинга рабочих процессов. Я попробовал, и это сработало очень хорошо. Тем не менее, я должен поместить все функции как задачи в один контейнер Airflow; и это не соответствует современной архитектуре микросервиса. Я хотел использовать Airflow в качестве планировщика и общаться с другими микросервисами.
Я хочу спросить: Как лучше всего использовать Airflow с микросервисами? Следует ли использовать задачи в группах обеспечения доступности баз данных для связи с микросервисами (публикуются sh сообщения и микросервисы будут подписываться)?
DAG можно описать ниже. Обратите внимание, что есть другие задачи, такие как проверка после загрузки данных, но я только упростил это. DAG