apache airflow 1.10.9 statsd включен, что вызывает сбой планировщика - PullRequest
0 голосов
/ 28 февраля 2020

мой поток воздуха работает в режиме CeleryExecutor + progre sql 12, все вещи go хорошо, кроме случаев, когда включена статистика:

statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow

Планировщики могут отображать задания, но задания не выполняются, планировщик лог с ошибкой ниже:

[SQL: SELECT count(*) AS count_1 
FROM task_instance 
WHERE task_instance.pool = %(pool_1)s AND task_instance.state IN (%(state_1)s, %(state_2)s)]
[parameters: {'pool_1': 'default_pool', 'state_1': 'running', 'state_2': 'queued'}]
(Background on this error at: http://sqlalche.me/e/4xp6)[0m
[31mTraceback (most recent call last):
  File "/usr/local/lib64/python3.6/site-packages/sqlalchemy/engine/base.py", line 1246, in _execute_context
    cursor, statement, parameters, context
  File "/usr/local/lib64/python3.6/site-packages/sqlalchemy/engine/default.py", line 588, in do_execute
    cursor.execute(statement, parameters)
psycopg2.errors.ProtocolViolation: invalid frontend message type 97
server closed the connection unexpectedly
    This probably means the server terminated abnormally
    before or while processing the request.


The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/usr/local/lib/python3.6/site-packages/airflow/jobs/scheduler_job.py", line 1495, in _validate_and_run_task_instances
    self._process_and_execute_tasks(simple_dag_bag)

  File "/usr/local/lib64/python3.6/site-packages/sqlalchemy/engine/default.py", line 588, in do_execute
    cursor.execute(statement, parameters)
sqlalchemy.exc.DatabaseError: (psycopg2.errors.ProtocolViolation) invalid frontend message type 97
server closed the connection unexpectedly
    This probably means the server terminated abnormally
    before or while processing the request.

Если отключить statsd, все возобновится. Это ошибка для воздушного потока? любой совет, чтобы решить это?

...