Воздушный поток: необходимо получить доступ к задачам, выполняющим детали и статистику - PullRequest
Новая
       4

Воздушный поток: необходимо получить доступ к задачам, выполняющим детали и статистику

0 голосов
/ 07 февраля 2020

У нас есть образ docker, где у нас установлены python2 .7 и Airlow 1.8.1.

Я хочу найти подробную информацию о задачах в определенном пакете.

Я могу сделать это с помощью запросов к БД. Я могу написать сценарий bash и запустить его следующим образом. 

docker exec -i $image /bin/bash <<EOF
export PGPASSWORD="$airflow_password"
psql -h host -d airflow -U user -c "$query"

Однако я не хочу использовать вызов БД, поскольку мое приложение будет опрашивать статусы каждые несколько минут, и у нас будет несколько DAGS и задача в них.

Я ищу что-то в python, - я могу подключиться к изображению docker - Используйте модуль воздушного потока для запроса информации о моих DAGS и Задачах.

Когда я вхожу в docker, у меня есть следующие модули. 

docker exec -it <docker_server> /bin/bash
[]# python
Python 2.7.5 
>>> from airflow.models import DagBag, TaskInstance
[2020-02-06 15:03:36,606] {__init__.py:57} INFO - Using executor CeleryExecutor
>>> exit()

Отсюда, как я могу найти необходимые детали.

DAG: My_Dag_Name Задача: some_task_name

Я хочу проверить статус, время начала и время окончания вышеуказанной задачи для конкретной даты выполнения или списка дат?

...