Я новичок ie в Airflow, мы запускаем поток воздуха на локальном исполнителе и сталкиваемся с проблемой несогласованности при выполнении DAG. Основные операции, которые мы выполняем, следующие:
1. создаем соединение (с помощью mysql, redshift и S3), и мы добавляем его в сеанс airflow ->
2. s3 опрашивает файл, используя S3KeySensor -> 3. извлекает и читает файл и нажимает на внутренний api-> 4. Отправка электронного письма. 5. Перемещение и удаление файла из S3. Но производительность dag очень нестабильна, в основном она не работает ни на одном из вышеперечисленных этапов, и в журналах воздушного потока нет журналов.
Мы выполняем это в docker контейнере, иногда поток успешно завершается, и в этот раз мы можем видеть журналы. Это один из потоков, который мы используем, есть и другие, которые также показывают Подобное поведение, поскольку нет журналов, не уверен, что это проблема docker или поток воздуха, любое предложение будет очень полезно
ниже приведена конфигурация журнала в файле airflow.cfg
[core]
# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository
# This path must be absolute
dags_folder = /usr/local/airflow/dags
# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /usr/local/airflow/logs
Это работает в ec2, в то время как в локальном я также не вижу журналов для успешного завершения. Я следил за использованием процессора, но не видел, чтобы он использовался на 100%.