Рабочий поток воздуха - соединение разорвано: IncompleteRead (прочитано 0 байт)

Question

Использование работника Airflow и веб-сервера / планировщика в качестве образов Docker, работающих на Kubernetes Engine на EC2

У нас есть задача с KubernetesPodOperator, которая требует больших ресурсов и выполняется каждые 15 минут.

Получил эту ошибку как электронное письмо в airflow-worker

Try 2 out of 3
Exception:
('Connection broken: IncompleteRead(0 bytes read)', IncompleteRead(0 bytes read))
Log: Link
Host: airflow-worker-deployment-123456789
Log file: /usr/local/airflow/logs/DAG_NAME/TASK_NAME/2019-03-14T10:50:00+00:00.log
Mark success: Link

Есть идеи, что это может быть?

Answer 1

Что ж, это значит, что логика программы не получила ожидаемых данных от какого-либо сокета.Это может означать что угодно, от периодически возникающей проблемы с сетью до просто не приходящих вовремя данных и не запрограммированной логики ожидания этого.Если задание повторяется автоматически, вам может даже не понадобиться беспокоиться о периодически возникающих проблемах.

Если вы хотите продиагностировать это дальше, вам нужно собрать некоторую диагностическую информацию.Проблемы всегда диагностируются по одному и тому же сценарию:

1. Определите точное место в программе, когда проблема проявляется.
2. Изучите состояние программы в этот момент и выясните, какой иззначения неверны.
3. Отследить ошибочное значение до его источника.

Первое может быть идентифицировано путем трассировки стека и / или поиска в базе кода для соответствующей логики.Второй - отладочная или отладочная печать.Третье обычно выполняется путем перезапуска программы с ранее установленными точками останова, на шаге в логике, которая выдает ошибочное значение;в вашем случае вы можете делать это очень медленно, ожидая повторения проблемы, поэтому вы вынуждены делать обоснованные предположения из кодовой базы.