HDFS NameNode JvmPauseMonitor, вызванный агентом менеджера Cloudera - PullRequest
Новая
       38

HDFS NameNode JvmPauseMonitor, вызванный агентом менеджера Cloudera

0 голосов
/ 21 января 2020

В нашем онлайн-кластере мы получили много таких предупреждений: 

2020-01-21 09:08:00,711 INFO org.apache.hadoop.util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately 2328ms
No GCs detected

Как было показано, G C нет, но jvm просто приостановился.

Мы заметили, что очистка происходит каждые 1 минуту, и когда появляется такое предупреждение, использование процессора cmf-agent увеличивается до 80%. Поэтому мы пытаемся завершить работу cmf-agent, после того как cmf-agent выключен, обработка данных просто пропала.

Мы отключили мониторинг jstack Cloudera Manager, что еще делает агент cloudera managager, заставит jvm pause?

мы используем CDH 5.4.14.

Редактировать в 2020-01-22: 

/usr/java/default/bin/java -Dproc_namenode -Xmx1000m -Dhdfs.audit.logger=INFO,RFAAUDIT -Dsecurity.audit.logger=INFO,RFAS -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/var/log/hadoop-hdfs -Dhadoop.log.file=hadoop-cmf-hdfs-NAMENODE-1350.log.out -Dhadoop.home.dir=/opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/lib/hadoop -Dhadoop.id.str=hdfs -Dhadoop.root.logger=INFO,RFA -Djava.library.path=/opt/cloudera/parcels/GPLEXTRAS-5.14.4-1.cdh5.14.4.p0.3/lib/hadoop/lib/native:/opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xms210453397504 -Xmx210453397504 -Xmn24g -XX:SurvivorRatio=2 -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:+CMSParallelRemarkEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:SoftRefLRUPolicyMSPerMB=0 -verbose:GC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintAdaptiveSizePolicy -XX:+PrintReferenceGC -XX:+UseGCLogFileRotation -XX:+PrintClassHistogramAfterFullGC -XX:+PrintClassHistogramBeforeFullGC -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=200M -Xloggc:/var/log/hadoop-hdfs/nn.gc.log -XX:OnOutOfMemoryError=/usr/lib64/cmf/service/common/killparent.sh -Dhadoop.security.logger=INFO,RFAS org.apache.hadoop.hdfs.server.namenode.NameNode
...