добавление службы Kafka не помогает - PullRequest
Новая
       30

добавление службы Kafka не помогает

0 голосов
/ 21 мая 2018

У нас есть кластер Cloudera Express 5.11.0, и я пытаюсь добавить Kafka 3.0 в качестве службы в диспетчере cloudera, но я получаю сообщение об ошибке, из-за которого не удалось запустить брокер на всех узлах, но я не вижу никаких ошибок.Я скачал пакет и распространил и успешно его активировал.

У меня есть несколько вопросов:

1) Какое значение я должен установить в корне ZooKeeper?Это то, что я должен решить, или это зависит от установки зоопарка ??Я обнаружил, что наиболее распространенным является / kafka, поэтому я установил его на /kafka.

2) Наш zookeeper работает автономно и получил предупреждение о максимальной задержке запроса, может быть подключен?

3) Во время 4-го шага добавления kafka в качестве службы не удается запустить брокер на узлах, и я не уверен, что является ошибкой.Я видел несколько сообщений об OutOfMemory, но я не уверен, что это проверки или ошибки.

Я добавлю последние строки найденных журналов:

stdout: 

 AUTHENTICATE_ZOOKEEPER_CONNECTION: true
 SUPER_USERS: kafka
 Kafka version found: 0.11.0-kafka3.0.0
 Sentry version found: 1.5.1-cdh5.11.0
 ZK_PRINCIPAL_NAME: zookeeper
 Final Zookeeper Quorum is VMClouderaMasterDev01:2181/kafka
 security.inter.broker.protocol inferred as PLAINTEXT
 LISTENERS=listeners=PLAINTEXT://VMClouderaWorkerDev03:9092,
 java.lang.OutOfMemoryError: Java heap space
 Dumping heap to /tmp/kafka_kafka-KAFKA_BROKER-     933a1dc0c29ca08ffe475da27d5b13d4_pid113208.hprof ...
 Heap dump file created [12122526 bytes in 0.086 secs]
 #
 # java.lang.OutOfMemoryError: Java heap space
 # -XX:OnOutOfMemoryError="/usr/lib64/cmf/service/common/killparent.sh"
 #   Executing /bin/sh -c "/usr/lib64/cmf/service/common/killparent.sh"...

stderr: 

+ export 'KAFKA_JVM_PERFORMANCE_OPTS=-XX:+HeapDumpOnOutOfMemoryError -                
XX:HeapDumpPath=/tmp/kafka_kafka-KAFKA_BROKER-    
933a1dc0c29ca08ffe475da27d5b13d4_pid113208.hprof - 
XX:OnOutOfMemoryError=/usr/lib64/cmf/service/common/killparent.sh -server - 
XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled - 
XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true'
+ KAFKA_JVM_PERFORMANCE_OPTS='-XX:+HeapDumpOnOutOfMemoryError - 
XX:HeapDumpPath=/tmp/kafka_kafka-KAFKA_BROKER- 
933a1dc0c29ca08ffe475da27d5b13d4_pid113208.hprof - 
XX:OnOutOfMemoryError=/usr/lib64/cmf/service/common/killparent.sh -server - 
XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled - 
XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true'
+ [[ false == \t\r\u\e ]]
+ exec /opt/cloudera/parcels/KAFKA-3.0.0-1.3.0.0.p0.40/lib/kafka/bin/kafka- 
server-start.sh /var/run/cloudera-scm-agent/process/1177-kafka- 
KAFKA_BROKER/kafka.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/KAFKA-3.0.0- 
1.3.0.0.p0.40/lib/kafka/libs/slf4j-log4j12- 
1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/KAFKA-3.0.0- 
1.3.0.0.p0.40/lib/kafka/libs/slf4j-log4j12- 
1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an 
explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
+ grep -q OnOutOfMemoryError /proc/113208/cmdline
+ RET=0
+ '[' 0 -eq 0 ']'
+ TARGET=113208
++ date
+ echo Thu May 17 10:36:08 CDT 2018
+ kill -9 113208

/ var / log / kafka / *. Log: 

50.1.22:2181, initiating session
2018-05-17 10:36:08,028 INFO org.apache.zookeeper.ClientCnxn: Session     establishment complete on server VMClouderaMasterDev01/10.150.1.22:2181,     sessionid = 0x1626c7087e729cb, negotiated timeout = 6000
2018-05-17 10:36:08,028 INFO org.I0Itec.zkclient.ZkClient: zookeeper state     changed (SyncConnected)
2018-05-17 10:36:08,183 INFO kafka.server.KafkaServer: Cluster ID =     cM_4kCm6TZWxttCAXDo4GQ
2018-05-17 10:36:08,185 WARN kafka.server.BrokerMetadataCheckpoint: No     meta.properties file under dir /var/local/kafka/data/meta.properties
2018-05-17 10:36:08,222 INFO     kafka.server.ClientQuotaManager$ThrottledRequestReaper: [ThrottledRequestReaper-    Fetch]: Starting
2018-05-17 10:36:08,224 INFO     kafka.server.ClientQuotaManager$ThrottledRequestReaper: [ThrottledRequestReaper-    Produce]: Starting
2018-05-17 10:36:08,226 INFO kafka.server.ClientQuotaManager$ThrottledRequestReaper: [ThrottledRequestReaper-Request]: Starting
2018-05-17 10:36:08,279 INFO kafka.log.LogManager: Loading logs.
2018-05-17 10:36:08,287 INFO kafka.log.LogManager: Logs loading complete in 8 ms.

1 Ответ

0 голосов
/ 21 мая 2018

В моем случае решение было увеличить размер java_heap_broker до 1G

...