Presto +, как настроить размер кучи Java в кластерах - PullRequest
Новая
       97

Presto +, как настроить размер кучи Java в кластерах

0 голосов
/ 28 февраля 2019

Мы установили Presto в кластере Hadoop (Ambari кластер с 24 машинами узлов данных).

Presto был установлен на компьютерах с датоданными (рабочие машины Presto) и на одной машине мы установили координатор Presto (главная машина).

Конфигурация Presto по умолчанию для размера кучи Java выглядит следующим образом: 

-Xmx16G
-XX:-UseBiasedLocking
-XX:+UseG1GC
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+UseGCOverheadLimit
-XX:+ExitOnOutOfMemoryError
-XX:ReservedCodeCacheSize=512M

Таким образом, размер кучи Java по умолчанию составляет 16G. Но наши рабочие узлы имеют 128G RAM заузел этого производственного режима сервера и 32G RAM этого режима LAB сервера и 64G для среднего режима.Я хочу установить размер кучи Java для presto для обеих конфигураций - LAB и Production, а также для среднего режима

Мне нужен совет, как установить значения Xmx для всех конфигураций - LAB / Production и medium

Мне также нужно знать размер кучи Java, потому что документация Presto.Например:

Рекомендовать установить query.max-memory-per-node на половину максимальной конфигурации памяти JVM, хотя, если ваша рабочая нагрузка очень параллельная, вы можете использовать более низкуюзначение для query.max-memory-per-node

...