Я использую pyspark spark 2.4.4 и Pycharm Python: 2.7 Пожалуйста, помогите мне, как мне настроить...

Я исследую, какие задания по обработке данных занимают больше времени, чем их использование в...

Я очень новичок в Airflow, и у меня есть два подзаголовка, т.е. SUBDAG_A и SUBDAG_B. SUBDAG_A...

Я использую приведенный ниже код для получения аргумента cli, но он не дает фактического значения....

Я пытаюсь передать значение xcom в нормальную функцию, но оно передает фактическое значение Я...

Я хочу вызвать API, которому нужны данные предыдущей задачи, которые я сохранил в xCom. Как...

Я создаю Airflow @daily DAG, у него есть восходящая задача get_daily_data BigQueryGetDataOperator,...

У меня 2 задания. В первом случае оператор python что-то вычисляет, а во втором я хочу использовать...

У меня есть сценарий использования, где я внутри цикла for, и мне нужно динамически заполнить поля...

Я интенсивно искал блоги и документацию по воздушным потокам для отладки возникшей проблемы. Что я...

Как проверить ответ от команды при использовании SSHOperator? t1 =...

Как прочитать XCom предыдущего сообщения с помощью SimpleHttpsOperator, а затем принять решение...

Я пытаюсь запустить BigQueryOperator с некоторым динамическим параметром, основанным на предыдущей...

Я пытаюсь создать полноценный даг. Я должен использовать SparkSubmitOperator, но я не знаю все...

Я новичок в Airflow и работаю над тем, чтобы сделать мой конвейер ETL более пригодным для...

создал изображение, содержащее /airflow/xcom/return.json с chmod + x на всех вложенных каталогах....

У нас есть оператор модуля kubernetes, который выдаст словарь python, который определит, какие...

В моей DAG есть части, которые генерируют списки, которые я не могу разбить на отдельные задачи,...

Я пытаюсь получить доступ во время создания подпадала к некоторым данным xcom из родительского dag,...

Я новичок в xcom функции Airflow.я попробовал это с PythonOperator, и он работал нормально (то есть...

Я создал контейнер, который копирует файл return.json в /airflow/xcom/return.json При запуске этого...

У меня есть сценарий для передачи имен файлов обработки между группами DAG, которые используются...

Как работает task_ids, если указано несколько задач? В этом конкретном примере кода я ожидал...

В последнее время я играю с Airflow и PySpark.Я видел, что Airflow имеет ряд переменных.Моя цель -...

У меня есть задача, которая читает список файлов из Azure и отправляет результаты в XCOM.Оператор...