Настройка параметров HTTP-запроса на KubernetesPods

Question

Я запускаю Apache Airflow в Kubernetes и сталкиваюсь со странной ошибкой при попытке извлечь файлы журнала.

*** Failed to fetch log file from worker. HTTPConnectionPool(host='geometrical-galaxy-7364-worker-0.geometrical-galaxy-7364-worker.astronomer-geometrical-galaxy-7364.svc.cluster.local', port=8793): Max retries exceeded with url: /log/FILE/begin/2018-12-06T00:00:00/1.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f7e86dab7b8>: Failed to establish a new connection: [Errno 111] Connection refused',))

Мне кажется, что слишком много запросовсделано на наборе состояний (если я прыгаю в модуль, содержащий файлы журнала, они все там, но они не попадают в пользовательский интерфейс, который пытается их извлечь).

Есть ли где-нибудь, чтоли предел для HTTP-запросов для набора с сохранением состояния или для модуля?

Answer 1

Я вполне уверен, что ошибка, которую вы видите, связана с тем, что Airflow пытается извлечь журналы задач от рабочего через requests, который использует urllib3, который пытается повторить неудачные HTTP-запросы.

Ваш веб-сервер пытается получить журналы, отклонен рабочим сервером и выдает ошибку.Убедитесь, что вы используете airflow serve-logs на всех рабочих и что порт открыт с вашего веб-сервера для каждого.

Answer 2

Нигде не установлено ограничение на количество HTTP-запросов на уровне k8s для модулей.Вы можете просмотреть полный список спецификации statefulset здесь , и вы увидите, что нет поля для ограничения этих запросов.

Контейнером, ограничивающим новые запросы HTTP, может быть контейнеризображение, которое вы используете.Например, ограничения веб-сервера Apache могут быть здесь .Скорее всего, ограничение встроено в используемый вами контейнер Airflow.К сожалению, я не могу найти документацию, в которой обсуждается этот предел или как его увеличить.