Hadoop: использование пряжи и локальной памяти

Question

Если мы зарезервируем 80% памяти для пряжи, а затем по какой-то причине допустим утечку памяти, например, ОС и локальные программы потребляют 50% памяти.

Знает ли пряжа, что существуеттолько 50% для него?Какое влияние окажут новые заявки?

Answer 1

YARN не контролирует ОС на наличие доступной памяти. Он работает как обычный процесс, как и все остальное. Таким образом, ОС будет делать то, что делает, когда запрашивается больше памяти, чем доступно.

RE: MapReduce, большинство заданий MR обычно используют гораздо меньше памяти, чем им требуется, поэтому в большинстве случаев чрезмерное использование памяти локальным процессом не вызовет никаких проблем. Разработчики YARN заметили этот паттерн недоиспользования и включили функцию Оппортунистические контейнеры для максимизации эффективности узла.