Почему Airflow Scheduler может работать только как процесс, не являющийся демоном, а работать как процесс демона? - PullRequest
Новая
       51

Почему Airflow Scheduler может работать только как процесс, не являющийся демоном, а работать как процесс демона?

1 голос
/ 13 февраля 2020

Я настроил поток воздуха на сервере Ubuntu. Я запустил веб-сервер просто как процесс демона. Я могу запустить планировщик, используя 

airflow scheduler

, и он работает нормально, и Дагс работает. Затем я останавливаю его и удаляю все файлы планировщика воздушного потока в $ AIRFLOW_HOME (airflow-scheduler.err, airflow-scheduler.log, airflow-scheduler.out)

Затем я пытаюсь запустить его как процесс демона используя 

airflow scheduler -D

Кажется, все в порядке без ошибок. Однако, когда я добрался до веб-сервера, он говорит:

"Кажется, что планировщик не работает. Последнее сердцебиение было получено через 2 минуты go.

Список DAG может не обновляться, и новые задачи не будут запланированы. "

Когда я смотрю в airflow-scheduler.err, я вижу: 

Traceback (most recent call last):
  File "/home/emauser/.local/lib/python3.6/site-packages/sqlalchemy/pool/base.py", line 503, in <lambda>
  File "/home/emauser/.local/lib/python3.6/site-packages/sqlalchemy/pool/base.py", line 702, in _finalize_fairy
  File "/usr/lib/python3.6/logging/__init__.py", line 1337, in error
  File "/usr/lib/python3.6/logging/__init__.py", line 1444, in _log
  File "/usr/lib/python3.6/logging/__init__.py", line 1454, in handle
  File "/usr/lib/python3.6/logging/__init__.py", line 1516, in callHandlers
  File "/usr/lib/python3.6/logging/__init__.py", line 865, in handle
  File "/usr/lib/python3.6/logging/__init__.py", line 1071, in emit
  File "/usr/lib/python3.6/logging/__init__.py", line 1061, in _open
NameError: name 'open' is not defined

Любая идея, почему я получаю ошибку на встроенном открыть функцию из модуля логирования?

1 Ответ

0 голосов
/ 15 февраля 2020

Перед перезапуском планировщика в режиме демона убедитесь, что другие процессы планировщика не запущены. ps aux | grep airflow-scheduler

Если они есть, убейте их, а затем запустите свой планировщик как демон.

...