Тайм-аут шлюза Airflow 504 - PullRequest
Новая
       6

Тайм-аут шлюза Airflow 504

0 голосов
/ 08 июня 2018

Много раз, когда я пытаюсь открыть древовидное представление или страницу длительности задачи некоторых групп доступности базы данных в пользовательском интерфейсе, я получаю сообщение об ошибке: 504 тайм-аут шлюза.Иногда после этого я даже не могу открыть страницу со списком DAG.Вы знаете, откуда может возникнуть эта проблема?

Процессор и память компьютера, на котором работает Airflow, в порядке, и я использую RDS для метаданных.

Спасибо!

1 Ответ

0 голосов
/ 11 июня 2018

Я испытал это и раньше.Я полагаю, что это вызвано HTTP-запросом, выполнение которого оружейным работником веб-сервера занимает больше времени, чем ожидалось.Например, если для дерева DAG задано высокое значение, например 365 DAG запускается для группы DAG с большим количеством задач, вы сможете последовательно воспроизвести это.

Можете ли вы попытаться увеличить параметры тайм-аутана веб-сервере, чтобы увидеть, если это имеет значение?

  • Сначала попробуйте увеличить web_server_worker_timeout (по умолчанию = 120 секунд) в группе [webserver].
  • Если это не такЧтобы решить эту проблему, вы также можете попытаться увеличить web_server_master_timeout в той же группе.
  • Еще один способ - переключить веб-сервер worker_class (по умолчанию = sync) на eventlet или gevent.

Ссылка: https://github.com/apache/incubator-airflow/blob/c27098b8d31fee7177f37108a6c2fb7c7ad37170/airflow/config_templates/default_airflow.cfg#L225-L229

Обратите внимание, что альтернативные рабочие классы требуют установки Airflow с такими дополнительными элементами async, как: 

pip install apache-airflow[async]

. Вы можете найти большеинформация о тайм-аутах рабочих-оружейников в этом вопросе: Как устранить ошибку критического тайм-аута рабочих-оружейников? .

...