Что означает счетчик задач VIRTUAL_MEMORY_BYTES в Hadoop?

Question

Следующая выдержка из «Полного руководства» содержит подробности высокого уровня, как показано ниже, но

1. что именно означает виртуальная память в этом счетчике задач?
2. Как ее интерпретировать?Как это связано с PHYSICAL_MEMORY_BYTES?

Ниже приведен пример выдержки из одного из заданий.Физический объем составляет около 214 ГБ.и виртуальный составляет около 611 ГБ.

Answer 1

1.Что именно означает виртуальная память в этом счетчике задач?

 Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
  in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.

Итак, при настройке кластера hadoop рекомендуется иметь значение vm.swappiness =1 для достижения лучшей производительности.В системах Linux для vm.swappiness по умолчанию установлено значение 60.Чем выше значение, тем агрессивнее обмен страниц памяти.

https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html

2.Как это интерпретировать?Как это связано с PHYSICAL_MEMORY_BYTES?

swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem

Это отношение между PHYSICAL_MEMORY_BYTES и VIRTUAL_MEMORY_BYTES.