Я развернул dag в Airflow (на GCP), но получаю сообщение об ошибке «Нет модуля с именем« scipy »»....
У меня есть сервер (A) с IP: xxx.xxx.xxx.xxx. Есть другой сервер (B), внутри сервера A с другим...
Я начинаю использовать Apache Airflow и мне интересно, как эффективно заставить его использовать...
Мне необходимо выполнить операцию с потоком воздуха, которая выполняет принудительное ожидание...
Мы вызываем определенные лямбды через оператора Airflow. В операторе выполняется вызов lambda
У меня есть демонстрационная DAG, исходный код которой приведен ниже. Даг довольно прост:...
Я пытаюсь создать DAG Cloud Composer для запуска через сообщение Pub / Sub. Существует следующий...
Я пытаюсь настроить KubernetesExecutor для запуска задач. Я уже настроил кластер Kubernetes. Но...
Я пытаюсь передать конкретную учетную запись службы Dag для задачи облачного композитора...
У меня есть искорка, которая работает через стручок Кубернетеса. До сих пор я использовал файл Yaml...
Python 3.6 Попытка установить Airflow на компьютере с Windows 10, но при установке pip постоянно...
При документировании Airflow DAG с помощью оператора '>>' я получаю некоторые ошибки на...
Я пытаюсь создать Airflow DAG, которые читают данные из (или записывают данные) из некоторых...
Я только что установил новую машину с Ubuntu, создал Python3.6 venv и установил поток воздуха. Я...
Я устанавливаю несколько конвейеров ETL на Googles Composer Airflow, развернутых на GKE с 3 узлами....
Я использую Google Cloud Composer, который, по сути, предоставляет вам среду Apache Airflow....
Мне нужно запустить скрипт BigQuery в Python, который должен быть выведен в виде CSV в облачном...
Я использую облачные функции для запуска DAG всякий раз, когда файл помещается в корзину хранения...
У меня есть эта архитектура на AWS: EC2 работает Airflow EMR кластер (livy, jupyterhub, spark, hive...
Я пытаюсь записать результаты пересечения таблиц в файл CSV с помощью воздушного потока (который...
Как мы можем вызвать GAG Composer (Airflow) DAG, используя запрос Http. Существует один способ...
Я тестирую DAG воздушного потока (версии 1.10.5 и python 3) и заметил, что всякий раз, когда я...
Когда я использую SSHOperator для выполнения команды на удаленном сервере с пользователем. Но он не...
Версия воздушного потока: 1,8 Я использую S3keysensor в моем DAG. В соединениях с воздушным потоком...
Мне нужно получить все файлы, превышающие временную метку, с условием префикса. Например, все файлы...