Dataproc использовать GC_OPTS = "- XX: + UseConcMarkSweepGC" для пряжи? - PullRequest
Новая
       35

Dataproc использовать GC_OPTS = "- XX: + UseConcMarkSweepGC" для пряжи?

0 голосов
/ 04 октября 2018

Работая с dataproc, я изучал различные конфигурации, связанные с искрой и пряжей, и обнаружил, что dataproc включает GC_OPTS="-XX:+UseConcMarkSweepGC" как часть env пряжи.конфигурация. 

GC_OPTS="-XX:+UseConcMarkSweepGC"
# Log GC details to stdout, these will be in diagnostic tarballs.
GC_LOGGING_OPTS="-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails"
export YARN_TIMELINESERVER_OPTS="${GC_OPTS} ${GC_LOGGING_OPTS} ${YARN_TIMELINESERVER_OPTS}

Существуют ли какие-либо особые требования к производительности пряжи для настройки сборщика мусора на сборщик CMS вместо параметров по умолчанию?

1 Ответ

0 голосов
/ 09 октября 2018

В некоторых случаях при очень высоком использовании памяти сборщик мусора может остановить тайм-ауты в демонах, взаимодействующих с ResourceManager или NameNode.На самом деле это наблюдалось в некоторых кластерах Dataproc до перенастройки для использования CMS GC.

Оптимальные варианты могут варьироваться в зависимости от характеристик рабочей нагрузки, но в целом этот подход подтверждается в других общих руководствах Hadoop, таких как https://community.hortonworks.com/articles/14170/namenode-garbage-collection-configuration-best-pra.html

...