Распределенная регистрация в Apache Airflow

Question

Мы используем Cloud Composer (Управляемый поток воздуха в GCP) для организации наших задач.Мы перемещаем все наши журналы в логика сумо (стандартный процесс в нашей организации).Наше требование состоит в том, чтобы отслеживать весь журнал отдельного выполнения группы обеспечения доступности баз данных, поскольку в настоящее время, похоже, нет способа отслеживать это.

В настоящее время первая задача в DAG сгенерирует уникальный идентификатор и передаст его другим задачам через xcom .Проблема здесь в том, что мы не смогли ввести уникальный идентификатор в Операторы воздушного потока журнал (например, BigQueryOperator).

Есть ли другой способ добавить уникальный уникальный идентификатор в журнал операторов воздушного потока?

Answer 1

Composer интегрируется с ведением журнала стекового драйвера , и вы можете фильтровать журналы для каждой группы DAG по «рабочему процессу: {your-dag-name}» и «дате выполнения: {your-dag-run-date}»Например,

Вы можете прочитать записи журнала со следующими фильтрами:

resource.type="cloud_composer_environment"
resource.labels.location="your-location"
resource.labels.environment_name="your-environment-name"
logName="projects/cloud-airflow-dev/logs/airflow-worker"
labels."execution-date"="your-dag-run-date"
labels.workflow="your-dag-id"