Поток внезапно прекратился - PullRequest
0 голосов
/ 24 апреля 2020

Версия воздушного потока: 1.10.5

Поток воздуха неожиданно перестал работать, я использую LocalExecutor , я понятия не имею, почему он прекратил работать, у меня около 50 файлов каталог воздушных потоков / дагов. некоторые из них находятся в состоянии паузы, но они были там в течение последних 2 месяцев.


# The number of task instances allowed to run concurrently by the scheduler
dag_concurrency = 60

# Are DAGs paused by default at creation
dags_are_paused_at_creation = True

# The maximum number of active DAG runs per DAG
max_active_runs_per_dag = 55

Это мой конфиг, также я использую postgresql в качестве серверной базы данных, которая была настроена и работала отлично. до вчерашнего дня. Также airflow scheduler и airflow webserver работают

, но когда я запускаю airflow scheduler, он застревает в этой точке.

[2020-04-24 05:18:47,898] {__init__.py:51} INFO - Using executor LocalExecutor                                                                                                                                ____________       _____________                                                                                                                                                                          
 ____    |__( )_________  __/__  /________      __                                                                                                                                                          ____  /| |_  /__  ___/_  /_ __  /_  __ \_ | /| / /                                                                                                                                                          
___  ___ |  / _  /   _  __/ _  / / /_/ /_ |/ |/ /                                                                                                                                                            _/_/  |_/_/  /_/    /_/    /_/  \____/____/|__/                                                                                                                                                            
[2020-04-24 05:18:48,219] {scheduler_job.py:1315} INFO - Starting the scheduler                                                                                                                             
[2020-04-24 05:18:48,220] {scheduler_job.py:1323} INFO - Running execute loop for -1 seconds                                                               
[2020-04-24 05:18:48,220] {scheduler_job.py:1324} INFO - Processing each file at most -1 times                                                                                                              
[2020-04-24 05:18:48,221] {scheduler_job.py:1327} INFO - Searching for files in /home/ubuntu/airflow/dags                                                                                                   
[2020-04-24 05:18:48,234] {scheduler_job.py:1329} INFO - There are 50 files in /home/ubuntu/airflow/dags                                                                                                    
[2020-04-24 05:18:48,320] {scheduler_job.py:1376} INFO - Resetting orphaned tasks for active dag runs                                                                   
[2020-04-24 05:18:48,347] {dag_processing.py:545} INFO - Launched DagFileProcessorManager with pid: 21557                                                                                                   
[2020-04-24 05:18:48,414] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>                                                                          
[2020-04-24 05:18:48,423] {settings.py:213} INFO - settings.configure_orm(): Using pool settings. pool_size=0, max_overflow=-1, pool_recycle=1800, pid=21557 ```

я что-то здесь упускаю?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...