Каждое пакетное задание aws раскручивает новый контейнер докеров - PullRequest
0 голосов
/ 07 сентября 2018

Каждый раз, когда я отправляю пакетное задание, создается ли новый контейнер Docker или старый контейнер будет использоваться повторно.

Если каждый раз создается новый контейнер Docker, что происходит с контейнером после выполнения задания.

В AWS ECS переменная ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION задает продолжительность времени ожидания с момента остановки задачи до удаления контейнера Docker (по умолчанию 3 часа)

Если все эти контейнеры будут очищены только через три часа, не будет ли легко заполнен экземпляр контейнера ECS, если я отправлю много заданий?

Получение этой ошибки CannotCreateContainerError: Ошибка API (500): devmapper при запуске пакетного задания. Поможет ли мне очистить файлы контейнера докера в конце работы?

1 Ответ

0 голосов
/ 08 сентября 2018

Каждый раз, когда я отправляю пакетное задание, создается ли новый контейнер Docker или старый контейнер будет использоваться повторно.

Да.Каждое задание, запускаемое в пакетном режиме, будет выполняться как новое задание ECS, то есть новый контейнер для каждого задания.

Если все эти контейнеры будут очищены только через три часа, экземпляр контейнера ECS не получитлегко заполняется быстро, если я отправляю много заданий?

Все зависит от рабочей нагрузки, продолжительности, заданий, использования диска и т. д. С большим количеством коротких заданий, которые занимают диск, этовполне возможно.

CannotCreateContainerError: API error (500): devmapper

Документация по этой ошибке указывает на несколько возможных решений, однако первое, которое вы ужеВызов может не помочь в этом случае.

ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION, который по умолчанию равен 3 ч в ECS, кажется, установлен на 2 м по умолчанию в пакетных кластерах - вы можете проверить пользовательские данные EC2 в одном из ваших пакетных экземпляровчтобы проверить, что он установлен таким образом на ваших кластерах.В зависимости от возраста кластера эти настройки могут изменяться.Пакетный режим не обновляется автоматически до последней оптимизированной ECS AMI без создания целого нового кластера, поэтому я не удивлюсь, если он также не изменит настройки.

Если в данный момент установлен низкий уровень продолжительности очистки, Вы можете попробовать создать пользовательский AMI , который обеспечивает больший, чем обычно, объем докера.По умолчанию оптимизированные ECS AMI поставляются с корневым диском 8 ГБ и объемом 22 ГБ для докера.

...