Я пишу DAG Airflow для извлечения данных из API и сохранения их в базе данных, которой я владею....
У меня есть новая группа обеспечения доступности баз данных, которая выполняет операцию из 3 задач,...
У меня примерно 80 ТБ изображений, размещенных в корзине S3, которые мне нужно отправить в API для...
Я запускаю DAG с воздушным потоком и хотел понять, как устанавливается дата выполнения. Это код,...
Я пытаюсь создать динамический поток воздуха, который имеет следующие 2 задачи: Задача 1. Создает...
В настоящее время я пытаюсь отправить данные из Salesforce в BigQuery с помощью Airflow. Я новичок...
У меня есть несколько сценариев SQL от моих коллег для создания и вставки различных таблиц в базу...
Я пытаюсь использовать airflow. Я хочу пройти локальное тестирование дагов, которые я написал.Я на...
Я не могу понять разницу между dag_concurrency и parallelism. документация и некоторые...
В обычном коде Python я могу сделать: import time int(time.time()) Это дает мне время как эпоху.Я...
Я новичок в области автоматизации воздушного потока, теперь я не знаю, возможно ли это сделать с...
Мой дизайн приложения требует, чтобы DAG Airflow, которая выполняется в данный момент, могла быть...
Есть ли у Airflow способ создания DAG из кода CWL?Я попробовал метод, доступный на https://github
Я работаю над проблемой, чтобы определить задачи интенсивного воздушного потока, которые используют...
Я пытаюсь использовать airflow с базой данных Vertica в качестве бэкэнда для метаданных. Я...
У меня есть два разных кластера Airflow, в основном нужно активировать группу обеспечения...
Я использую Airflow 1.10.2, разветвленный из популярного изображения докера воздушного потока...
Я пытаюсь написать плагин воздушного потока, который добавляет кнопку меню, новый вид и конечную...
Я знаю, как динамически запускать задачи DAG с использованием Переменная , и она работает довольно...
Я пытаюсь сгенерировать набор динамических задач из переменной XCOM. В XCOM я храню список, и я...
Я новичок в docker-compose и пытаюсь создать архитектуру, которая может использоваться несколькими...
Я пытаюсь написать собственный оператор и датчик в apache-airflow. Он в основном имеет 3 оператора...
Я пытаюсь создать группу обеспечения доступности баз данных, которая сначала проверяет, существует...
Я пытаюсь прослушать изменения в HDFS для запуска моего ETL-конвейера в Airflow с использованием...
Ошибка: [2019-04-11 10:08:44,005] {{ssh_operator.py:80}} INFO - ssh_hook is not provided or invalid