Apache Yarn - выделяет больше памяти, чем физическая память или RAM

Question

Я рассматривал вопрос об изменении yarn.nodemanager.resource.memory-mb на значение, превышающее объем оперативной памяти, доступной на моей машине.Быстрый поиск показал, что не многие люди делают это.

Многие долгоживущие приложения на пряже обязательно имеют выделение пространства кучи jvm, при котором часть их памяти используется чаще, а часть - редко.В этом случае для таких приложений было бы разумно переместить некоторые из своих редко используемых частей памяти на диск и перераспределить доступную физическую память другим приложениям, которым это необходимо.

С учетом вышеизложенного можноИли, пожалуйста, подтвердите мои рассуждения или предложите альтернативную точку зрения?Кроме того, не могли бы вы также уточнить, как будет работать параметр yarn.nodemanager.vmem-pmem-ratio в приведенном выше случае?

Answer 1

Это не очень хорошая идея.Попытка использовать больше памяти, чем доступно, в конечном итоге приведет к сбою хостов Node Manager.

Уже существует функция, называемая условными контейнерами, которая использует свободную память, не используемую NM, и добавляет больше контейнеров к этим хостам.См .:

YARN-1011 [Umbrella] Планирование контейнеров на основе использования выделенных в данный момент контейнеров

Кроме того, Pepperdata имеет продукт, который делает почти то же самое, есливы не можете ждать YARN-1011.

https://www.pepperdata.com/products/capacity-optimizer/

Что касается yarn.nodemanager.vmem-pmem-ratio, не включайте его, так как он больше не рекомендуется.

Соотношение vcores-pcores YARN-782 обманчиво отличается от отношения vmem-pmem