Когда мои суб-метки превышают ~ 1000 задач, Airflow начинает ползти вдоль. Я заметил, что проблема...

Есть ли способ импортировать пользовательские модули Python в файл dag, не смешивая среды dag и sys

У меня есть знак потока воздуха со следующей конфигурацией: { 'start_date': datetime(2017...

В потоке воздуха, если я хочу выполнить запрос улья, используя hiveOperator, и результат этого...

Я написал задачу на Python для Airflow. Когда я загружаю DAG в Airflow, он показывает все отлично....

Я хотел бы использовать датчик, чтобы заставить DAG ждать другого DAG перед запуском. Я создал...

В моей системе Airflow есть задачи, которые выполняются, и задачи, поставленные в очередь. Задачи...

Обычно мы определяем Операторы в том же файле python, где определена наша группа DAG (см. этот...

Как извлечь yarn_application_id из SparkSubmitHook? Я пытался использовать пользовательский...

Я сохранил соединение типа "google_cloud_platform" в Airflow, как описано здесь https://cloud

Как ведет себя встроенный датчик дельта времени Airflow как часть запуска DAG, запускаемого вручную

Возможно ли запустить задачу воздушного потока только тогда, когда происходит конкретное событие,...

Я хочу выполнить некоторые преобразования данных, хранящихся в MongoDB, и вставить преобразованные...

Я очень плохо знаком с потоком воздуха и использую функции "xcom_push" и "xcom_pull". У меня есть...

С потоком воздуха 1.10, когда я передаю conf TriggerDagRunOperator, например dag = DAG(...

Версия воздушного потока: 1.10.3 В файле airflow.cfg у меня есть параметр уровня регистрации:...

У меня на сервере ec2 работает airflow, который я должен использовать прокси для всех внешних...

Я начинаю работать с Apache Airflow и пытаюсь настроить управляемую событиями группу доступности...

Airflow cli поддерживает параметр для передачи конф. airflow trigger_dag --conf...

У меня есть группа обеспечения доступности баз данных, которая мне нужна для запуска только одного...

Я хочу включать / отключать задания для потока воздуха программно, а не вручную. Можно ли включать...

Я хочу добавить URL-адрес книги запусков в уведомления о сбое воздушного потока. По умолчанию...

Airflow имеет подкаталог gcp / git ( Git Repo ). Когда я устанавливаю Airflow через pip install...

Поток воздуха контролирует местоположение DAG для новых DAG и забирает их (каждую минуту или около...

У меня есть эта проблема. Я изменил рабочий процесс DAG, чтобы заменить задачу другим. Но кажется,...