Существует DAG, которая содержит 4 задачи, как показано ниже.Иногда я хочу запустить task3 только...

Я пытаюсь выполнить файл Python конвейера луча Apache, используя обработчик потока данных через...

В настоящее время я следую приведенному здесь шаблону: https://github

У меня есть Airflow DAG, которая запускает кластер AWS EMR для выполнения шагов. На DAG мы передаем...

Я занимаюсь проектированием некоторых конвейеров данных ETL с помощью Airflow.Преобразование данных...

Я запланировал запуск групп DAG с воздушным потоком, в каждом из них есть одна задача. Когда DAG...

Мы настраиваем инфраструктуру Airflow, в которой несколько групп специалистов по обработке данных...

Я реализовал DataflowPythonOperator в моей Airflow DAG, и во время выполнения я получаю сообщение...

Я работаю над тестовым конвейером, который проверяет группы доступности воздушного потока и...

Я клонировал проект контейнера потока воздуха Puckel и загрузил контейнер в Ubuntu. Кажется, что...

Я запускаю кластер на EMR и отправляю некоторые шаги на нем с использованием воздушного потока. Что...

Я запускаю кластер EMR через Airflow и запускаю на нем задание PySpark. Я хочу использовать Custom...

Я пытаюсь запустить кластер AWS emr и отправить шаг, используя EmrCreateJobFlowOperator и...

У меня много собак (200 дагов), которые меняются каждый день в полночь. Я заметил, что в каждом Dag...

У меня есть две DAG Airflow - планировщик и рабочий. Планировщик запускается каждую минуту и...

Я использую Apache Airflow 1.10.0 и хочу воспользоваться новой функцией Dag с поддержкой часовых...

Недавно я обновил Airflow с 1.9 до 1.10.3 (последний). Однако я заметил проблему с...

Я попытался создать DAG с 400 задачами (например, каждая из которых запускает вызывающий удаленный...

Мой даг анализирует около 50 секунд, я использую только внешние триггеры для запуска дагов, никаких...

Мы недавно приняли Airflow в качестве инструмента для оркестровки. Мы хотим создать DAG контроллера...

Я пытаюсь запустить мою хранимую процедуру в Airflow.Просто я импортировал оператор mssql и...

Обновление Apache Beam Python SDK до версии 2.11.0. Я обновляю sdk с 2.4.0 до 2.11.0, используя...

У меня есть метка, которая создает искровое задание и выполняет определенный скрипт, расположенный...

У меня есть задания Airflow, которые нормально работают на кластере EMR.что мне нужно, скажем, если...

У меня есть несколько групп DAG, созданных в Airflow. Но я хочу запустить их все через некоторый...