Веб-сервер Airflow внезапно перестал запускаться

Question

Мой веб-сервер воздушного потока неожиданно перестал запускаться.Когда я пытаюсь запустить веб-сервер, он не подходит к интерфейсу пользователя.

Я попытался сбросить db как airflow resetdb и airflow initdb, перезапустив все службы.Понижение Gunicorn и обновление его снова.Однако при перезапуске моей машины Linux ничего не изменилось.

Журналы веб-сервера следующие:

[2019-05-17 08:08:00 +0000] [14978] [INFO] Starting gunicorn 19.9.0
[2019-05-17 08:08:00 +0000] [14978] [INFO] Listening at: http://0.0.0.0:8081 (14978)
[2019-05-17 08:08:00 +0000] [14978] [INFO] Using worker: sync
[2019-05-17 08:08:00 +0000] [14983] [INFO] Booting worker with pid: 14983
[2019-05-17 08:08:00 +0000] [14984] [INFO] Booting worker with pid: 14984
[2019-05-17 08:08:00 +0000] [14985] [INFO] Booting worker with pid: 14985
[2019-05-17 08:08:00 +0000] [14986] [INFO] Booting worker with pid: 14986
[2019-05-17 08:08:02,179] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:08:02,279] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:08:02,324] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:08:02,342] {models.py:273} INFO - Filling up the DagBag from /root/airflow/dags
[2019-05-17 08:08:02,376] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:08:02,435] {models.py:273} INFO - Filling up the DagBag from /root/airflow/dags
[2019-05-17 08:08:02,521] {models.py:273} INFO - Filling up the DagBag from /root/airflow/dags
[2019-05-17 08:08:02,524] {models.py:273} INFO - Filling up the DagBag from /root/airflow/dags
[2019-05-17 08:10:00 +0000] [14978] [CRITICAL] WORKER TIMEOUT (pid:14984)
[2019-05-17 08:10:00 +0000] [14978] [CRITICAL] WORKER TIMEOUT (pid:14985)
[2019-05-17 08:10:00 +0000] [14978] [CRITICAL] WORKER TIMEOUT (pid:14986)
[2019-05-17 08:10:00 +0000] [14978] [CRITICAL] WORKER TIMEOUT (pid:14983)
[2019-05-17 08:10:01 +0000] [15161] [INFO] Booting worker with pid: 15161
[2019-05-17 08:10:01 +0000] [15164] [INFO] Booting worker with pid: 15164
[2019-05-17 08:10:01 +0000] [15167] [INFO] Booting worker with pid: 15167
[2019-05-17 08:10:01 +0000] [15168] [INFO] Booting worker with pid: 15168
[2019-05-17 08:10:03,953] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:10:04,007] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:10:04,020] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-05-17 08:10:04,036] {__init__.py:51} INFO - Using executor LocalExecutor

Кто-нибудь сталкивался с такой же проблемой?или есть предложения?

Answer 1

Сегодня я столкнулся с той же проблемой, веб-сервер airflow перестал запускаться. Я много пробовал, но не смог определить причину проблемы, ничего не помогло, ни resetdb, ни upgradededb, ни переустановка не работали. Затем я просто прокомментировал весь код внутри моих пакетов и вручную создал файл .pyc для пакетов в папке dag. поток воздуха снова начал работать. Я заметил, что проблема была с дагсами. когда я удалил дагс сервер начал работать нормально. так что мой совет всем, кто сталкивается с этой проблемой, пожалуйста, проверьте ваши дагс, определенно что-то не так в них. не вините воздушный поток, иногда наш собственный код мешает системе.

Answer 2

В моем случае одна из моих групп DAG подключается к базе данных MySQL через туннель SSH, когда я подключаюсь напрямую к MySQL, она работает, но через туннель SSH происходит сбой. Не знаю почему, но теперь я перешел на прямое подключение к MySQL из DAG.

Веб-сервер не запускал gunicorn, поскольку DAG не смог подключиться к MySQL.

Answer 3

Это возможное решение, которое сработало для меня.

Убедитесь, что dags_folder не содержит файлов, которые не имеют отношения к вашим определениям и конфигурациям.

Веб-сервер Airflow периодически сканирует dag_folder, и я обнаружил, что если эта папка очень большая, при сканировании сервер останавливается.

Надеюсь, это поможет вам:)