После обновления с версии 1.7.1.3 я заметил больше подробных сообщений журнала в задачах Airflow
Я создаю задачу, используя PostgresOperator, и я хотел бы установить ON_ERROR_STOP = 1, есть ли...
Airflow позволяет вам помещать зависимости (внешний код Python в код DAG), на которые полагаются...
Я создаю динамический DAG в Airflow, используя SubDAG. Что мне нужно, так это то, что количество...
Я использую Apache Airflow и обнаружил, что размер gunicorn-error.log вырос более чем на 50 ГБ в...
Я пытаюсь создать один экземпляр Apache Airflow, в котором могут размещаться несколько...
У меня есть dag, который по расписанию должен вызывать скрипт, ежедневно передавающий текущую дату,...
Мне удалось получить односторонний SSL, но я застрял на двухстороннем SSL в потоке воздуха. Наше...
Я пытаюсь запустить веб-сервер Apache Airflow из virtualenv на компьютере Redhat с некоторыми...
Можно ли указать ресурсы (процессор, память, графический процессор, дисковое пространство) для...
Я пытаюсь дать полезную информацию, но я далеко не инженер данных. В настоящее время я использую...
У меня есть две задачи, одна из которых является пользовательским оператором, где у него есть одно...
Одна из проблем, с которыми мы сталкиваемся при реализации воздушного потока, заключается в том,...
Я пробовал разные способы настройки Airflow 1.9 для записи логов в s3, но он просто игнорирует это....
Я хочу передать параметры конкретной задаче в моем Airflow Dag и получить доступ к ней в моем коде...
Какие у нас есть способы подключения к экземпляру Google Cloud SQL (MySQL) из недавно...
Привет всем, я играю с Airflow, я читаю этот полезный учебник . Прошу помочь лучше понять, как...
Я пытаюсь импортировать локальный модуль (скрипт на python) в мою DAG. Структура каталогов:...
Я написал DAG с несколькими PythonOperators task1 = af_op
Было сложнее, чем ожидалось, правильно настроить Spark-мастер через SparkSubmitOperator и...
Проблема с использованием DataProcPySparkOperator. Ниже задание, которое я добавил в свой DAG:...
У нас проблема. Когда мы перезапускаем поток воздуха - все наши задачи запускаются в это время...
У меня есть простой код, я пытаюсь импортировать DAG из потока from airflow import DAG from airflow
Кто-нибудь знает, есть ли способ установить параметры dag_run.conf при запуске airflow test в...
Я использую Cloud Composer , и я заметил, что он выбирает версию Apache Airflow и Python (2.7.x)...