Скажем, я хочу увеличить значение по умолчанию для контейнера YARN с 1024 МБ до 1200 МБ и сделать так, чтобы память всех контейнеров YARN была кратна 1200 МБ (2400 МБ, 3600 МБ и т. Д.).
Я могу контролировать максимальный размер и минимальный размер контейнера, используя параметры YARN yarn.scheduler.minimum-allocation-mb и yarn.scheduler.maximum-allocation-mb, как указано в Hadoop Руководство по определению .
Я полагал, что распределениеприращения такие же, как yarn.scheduler.minimum-allocation-mb (см. этот ответ ), до недавнего времени встречалось упоминание yarn.scheduler.increment-allocation-mb параметра :
Запрос контейнера 1200 МБ /1vcore: минимальный размер составляет 1 ГБ, приращение составляет 500 МБ -> контейнер объемом 1,5 ГБ (округляется до следующего приращения, минимальное значение используется в качестве основы)
Я не нашел ни упоминаний, ни значения по умолчаниюзначения этого параметра в yarn-defaults.xml для Hadoop 3.1.1 , не говоря уже о более старых версиях.
Так что мои вопросы : мне нужно задатьyarn.scheduler.increment-allocation-mb явно до 1200MB в yarn-site.xml, и какое значение по умолчанию для этого свойства?
Просто чтобы добавить больше деталей, моя версия Hadoop - 2.6.0-cdh5.9.2 (дистрибутив Cloudera).