Я пытаюсь настроить Airflow для управления нашими процессами ETL, запускаю экземпляр EC2 с Amazon...

Мне нужно создать задание Airflow, которое должно выполняться абсолютно до 9 ч. В настоящее время у...

Я настроил мою настройку Airflow для работы с systemd в соответствии с this .Это было замечательно...

Кто может подсказать мне пример использования Airflow FileSensor?Я погуглил и еще ничего не нашел

В нашем кластере hadoop есть задания Spark Batch и потоковые задания Spark. Мы хотели бы...

Я использую puckel / docker-airflow для развертывания воздушного потока.В настоящее время...

Учитывая родительский тег dag, который передает значение в xcom, как извлечь dag из subdag? Что я...

Проблема: execution_date_to_search_for = pytz.timezone('UTC').utc_timezone

У меня возникли некоторые проблемы при настройке регистрации Elastic в Apache Airflow.Начиная с...

Я создаю динамически даг из списка и хотел бы добавить on_failure_callback к одной из задач.Я...

Airflow webserver все еще работает на переднем плане с этой командой "airflow webserver -D".Я не...

Предположим следующую ситуацию: [c1, c2, c3] >> child_task , где все c1, c2, c3 и child_task...

Я пытаюсь написать оператор Python в DAG воздушного потока и передать определенные параметры...

Я пытаюсь настроить поток воздуха на своем компьютере. Я получил базовую настройку и запустил ее. Я...

У меня есть приложение rails, которое запускает задачу путем записи в очередь Rabbit-MQ. В Airflow,...

Сводка Я впервые использую Apache-Airflow.Я заставил работать веб-сервер, SequentialExecutor и...

У меня есть оператор python в моей DAG.Вызываемая функция Python возвращает значение bool.Но когда...

Я пытаюсь материализовать таблицу кустов на основе файла, который хранится как паркет в GCS, с...

Мы недавно переключились с Airflow 1.9 на 1.10.1 и заметили, что все записи, которые делают...

Мне интересно, возможно ли запустить воздушный поток внутри лямбды aws.Я пытаюсь построить конвейер...

Когда я впервые создал экземпляр в GC Composer, он был настроен на воздушный поток 1.9.0.С тех пор...

У меня есть конвейер Airflow, который создает 12 промежуточных таблиц из файлов Google Cloud...

Я сейчас использую Big-query Operator см. Здесь .Мне необходимо явно отправить сгенерированный...

Я пытался использовать Cloud Composer для планирования и организации заданий Bigquery.Таблицы...

Я нахожу, что очистка экземпляров пакетных задач из веб-интерфейса не работает при включении RBAC....