Почему воздушный поток постоянно подключается / отключается от базы данных воздушного потока? - PullRequest
Новая
       12

Почему воздушный поток постоянно подключается / отключается от базы данных воздушного потока?

0 голосов
/ 23 апреля 2019

Я вижу много-много случаев, когда воздушный поток подключается и затем отключается от базы данных воздушного потока (в PostgreSQL 9.6). Подавляющее большинство этих соединений даже не длятся 1/10 секунды, и может быть до 10 соединений, начатых / завершенных в секунду.

Такое поведение происходит на паре разных серверов. Оба работают под управлением CentOS 7 и PostgreSQL 9.6.12 с воздушным потоком 1.10.2 и Anaconda python 3.6.5. Максимальное количество подключений Postgres равно 200.

Надеемся, что наиболее важные части airflow.cfg: 

executor = LocalExecutor
sql_alchemy_conn = postgresql://airflow@localhost:5432/airflow
sql_alchemy_pool_size = 32
sql_alchemy_pool_recycle = 3600
parallelism = 32
dag_concurrency = 32

Невероятно короткий пример из журнала PostgreSQL: 

2019-04-23 00:00:02 UTC [19856]: [1-1] user=[unknown],db=[unknown],app=[unknown],client=::1 LOG:  connection received: host=::1 port=54460
2019-04-23 00:00:02 UTC [19856]: [2-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  connection authorized: user=airflow database=airflow
2019-04-23 00:00:02 UTC [19855]: [1-1] user=[unknown],db=[unknown],app=[unknown],client=::1 LOG:  connection received: host=::1 port=54458
2019-04-23 00:00:02 UTC [19855]: [2-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  connection authorized: user=airflow database=airflow
2019-04-23 00:00:02 UTC [19857]: [1-1] user=[unknown],db=[unknown],app=[unknown],client=::1 LOG:  connection received: host=::1 port=54462
2019-04-23 00:00:02 UTC [19857]: [2-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  connection authorized: user=airflow database=airflow
2019-04-23 00:00:02 UTC [19858]: [1-1] user=[unknown],db=[unknown],app=[unknown],client=::1 LOG:  connection received: host=::1 port=54464
2019-04-23 00:00:02 UTC [19858]: [2-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  connection authorized: user=airflow database=airflow
2019-04-23 00:00:02 UTC [19856]: [3-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  disconnection: session time: 0:00:00.066 user=airflow database=airflow host=::1 port=54460
2019-04-23 00:00:02 UTC [19855]: [3-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  disconnection: session time: 0:00:00.067 user=airflow database=airflow host=::1 port=54458
2019-04-23 00:00:02 UTC [19857]: [3-1] user=airflow,db=airflow,app=[unknown],client=::1 LOG:  disconnection: session time: 0:00:00.091 user=airflow database=airflow host=::1 port=54462

Я просто хочу узнать, что можно сделать, чтобы ограничить эту деятельность, или, по крайней мере, я хочу понять, какова цель этой деятельности.

Огромное спасибо за вашу помощь в этом.

...