Очистить данные из work_dir от агентов mesos - PullRequest
Новая
       27

Очистить данные из work_dir от агентов mesos

0 голосов
/ 12 июня 2018

У меня есть спарк-кластер, который работает с Mesos в качестве менеджера ресурсов.При сбое некоторых заданий запуска временные файлы данных внутри work_dir в узлах агента mesos не удаляются.Есть ли какая-либо конфигурация для автоматического удаления данных из рабочих столов агентов mesos

Ответы [ 2 ]

0 голосов
/ 06 сентября 2018

Основное пространство в work_dir - это файлы в executors / run / latest: stdout & stderr.

Если исполнители являются постоянными, gc_delay больше не будет работать.Поскольку исполнители не будут прекращены или удалены.Поэтому мы должны использовать другой способ - container_logger. Документы здесь .

Настройка двух флагов: modules и container_logger.Таким образом, stdout и stderr будут автоматически удалены при достижении максимального размера файла, который по умолчанию составляет 10 МБ.

0 голосов
/ 13 июня 2018

Жизненный цикл песочницы

Файлы песочницы планируются для сборки мусора, когда:

  • Исполнитель удален или прекращен.
  • Каркас удален.
  • Исполнитель безуспешно восстанавливается во время восстановления агента.

ПРИМЕЧАНИЕ: Во время восстановления агента все запуски исполнителя, кроме самого последнего, запланированы.а также для сборки мусора.

Сборка мусора запланирована на основе флага --gc_delay агента.По умолчанию это одна неделя с момента последнего изменения песочницы.После задержки файлы удаляются.

Кроме того, в соответствии с флагом агента --disk_watch_interval файлы, запланированные для сбора мусора, удаляются на основе доступного диска и флага агента --gc_disk_headroom.См. Формулу здесь.

Из документации

...