Очистить данные из work_dir от агентов mesos

Question

У меня есть спарк-кластер, который работает с Mesos в качестве менеджера ресурсов.При сбое некоторых заданий запуска временные файлы данных внутри work_dir в узлах агента mesos не удаляются.Есть ли какая-либо конфигурация для автоматического удаления данных из рабочих столов агентов mesos

Answer 1

Основное пространство в work_dir - это файлы в executors / run / latest: stdout & stderr.

Если исполнители являются постоянными, gc_delay больше не будет работать.Поскольку исполнители не будут прекращены или удалены.Поэтому мы должны использовать другой способ - container_logger. Документы здесь .

Настройка двух флагов: modules и container_logger.Таким образом, stdout и stderr будут автоматически удалены при достижении максимального размера файла, который по умолчанию составляет 10 МБ.

Answer 2

Жизненный цикл песочницы

Файлы песочницы планируются для сборки мусора, когда:

• Исполнитель удален или прекращен.
• Каркас удален.
• Исполнитель безуспешно восстанавливается во время восстановления агента.

ПРИМЕЧАНИЕ: Во время восстановления агента все запуски исполнителя, кроме самого последнего, запланированы.а также для сборки мусора.

Сборка мусора запланирована на основе флага --gc_delay агента.По умолчанию это одна неделя с момента последнего изменения песочницы.После задержки файлы удаляются.

Кроме того, в соответствии с флагом агента --disk_watch_interval файлы, запланированные для сбора мусора, удаляются на основе доступного диска и флага агента --gc_disk_headroom.См. Формулу здесь.

Из документации