Какова максимальная способность памяти Databricks?

Question

1-й, давайте посмотрим мою конфигурацию кластера.

Тип работника: Standard_D3_V2 (14 ГБ памяти, 4 ядра, 0,75 DBU)

, и у меня 35 работников, так что всего

35 рабочих: 490,0 ГБ памяти, 140 ядер, 26,25 DBU

1 Драйвер: 14,0 ГБ памяти, 4 ядра, 0,75 DBU

Итак, моя общая память 14 * 36 = 504 ГБ Но когда я запускаю задание, Code et c в этом кластере и в интерфейсе Spark кажется, что моя общая память 320 ГБ не 504 ГБ

Мой вопрос: почему не отображается общий объем памяти? Я не говорю, почему он не использует общую память. Я говорю, что моя общая память составляет 504 ГБ , но его шоу Всего = 320 ГБ , где другие 184 ГБ идет?

Answer 1

Общая память делится на физическую память и виртуальную память.

Вы выбрали общую память ( 14 x 36 = 504 G ), разделенную на 320 физическую память и 184 в качестве виртуальной памяти.

Чтобы получить более подробную информацию об общем объеме памяти, от go до Live Metrics => Ganglia UI => нажмите на Физическое представление , выберите a Node и проверьте доступную память для каждого узла после настройки виртуальной машины.

Примечание: Available memory = (Available memory from physical view) x (Number of Nodes)

Чтобы понять разницу между Физическое хранилище и виртуальное адресное пространство, вы можете go, используя следующую информацию:

Виртуальное адресное пространство каждого процесса может быть меньше или больше, чем общая физическая память, доступная на виртуальной машине. Подмножество виртуального адресного пространства процесса, находящегося в физической памяти, называется рабочим набором. Если потоки процесса пытаются использовать больше физической памяти, чем доступно в данный момент, система выводит часть содержимого памяти на диск. Общий объем виртуального адресного пространства, доступного для процесса, ограничен физической памятью и свободным пространством на диске, доступным для файла подкачки.

Физическое хранилище и виртуальное адресное пространство каждого процесса организованы в страницы, единицы памяти, размер которой зависит от выбранной виртуальной машины.

Чтобы максимизировать гибкость управления памятью, система может перемещать страницы физической памяти в файл подкачки и обратно на диске. Когда страница перемещается в физической памяти, система обновляет карты страниц затронутых процессов. Когда системе требуется пространство в физической памяти, она перемещает наименее недавно использованные страницы физической памяти в файл подкачки. Управление физической памятью системой полностью прозрачно для приложений, которые работают только в своих виртуальных адресных пространствах.

Надеюсь, это поможет.