Обработка Airflow DAG для новых клиентов

Question

Я новичок в Airflow и понимаю, как start_date + time_interval группы DAG работают в моей компании, например, извлекая исторические данные Google Рекламы.

Но мы проводим анализ для нескольких клиентов data.

Как структурировать группы DAG для обработки данных нового клиента? Я не хочу создавать новый DAG для каждого подключенного клиента, даже если программно, это кажется плохим.

Кроме того, поскольку новые клиенты могут прийти в любое время, я хотел бы получать данные, когда клиенты создают учетные записи который управляется событиями. Я мог бы использовать экспериментальный Event Driven API, но есть ли лучший подход?

Разве Airflow не является хорошим решением для этого варианта использования?

Answer 1

Вы можете поддерживать данные клиентов в постоянном хранилище (базе данных) и планировать свой dag, чтобы ссылаться на эти данные и соответственно вызывать api. можно подумать о решениях aws, таких как lambda, s3, которые больше подходят для архитектуры, управляемой событиями.

Сообщите мне, если это ответит на ваш вопрос.