Я использую Airflow v1.9 с Celery Executor.У меня 5 рабочих Airflow, работающих на 5 разных машинах.Планировщик воздушного потока также работает на одной из этих машин.Я скопировал один и тот же файл airflow.cfg на эти 5 машин.У меня есть ежедневные настройки рабочих процессов в разных очередях, таких как DEV, QA и т. Д. (Каждый работник работает с индивидуальным именем очереди), которые работают нормально.
При планировании группы доступности базы данных в одном из работников (никакой другой группы доступности базы данных не былонастройка для этого работника / машины ранее), я вижу ошибку в 1-й задаче, и в результате выполняются следующие задачи:
*** Log file isn't local.
*** Fetching here: http://<worker hostname>:8793/log/PDI_Incr_20190407_v2/checkBCWatermarkDt/2019-04-07T17:00:00/1.log
*** Failed to fetch log file from worker. 404 Client Error: NOT FOUND for url: http://<worker hostname>:8793/log/PDI_Incr_20190407_v2/checkBCWatermarkDt/2019-04-07T17:00:00/1.log
Я настроил MySQL для хранения метаданных DAG.Когда я проверил таблицу task_instance, я увидел правильные имена хостов для задачи.
Я также проверил местоположение журнала и обнаружил, что журнал создается.
фрагмент кода airflow.cfg:
base_log_folder = /var/log/airflow
base_url = http://<scheduler ip>:8082
worker_log_server_port = 8793
api_client = airflow.api.client.local_client
endpoint_url = http://localhost:8080
Что мне здесь не хватает?Какие конфигурации мне нужно проверить дополнительно для решения этой проблемы?