Apache Storm Supervisor останавливается автоматически при запуске топологии - PullRequest
Новая
       9

Apache Storm Supervisor останавливается автоматически при запуске топологии

0 голосов
/ 20 ноября 2018

Три хоста имеют одинаковую конфигурационную часть /etc/hosts.

203.xx.xx.253 server0
203.xx.xx.254 server1
203.xx.xx.255 server2

zoo.cfg 

dataDir=/home/xxx/zookeeper/data/`
server.0=server0:2888:3888
server.1=server1:2888:3888
server.2=server2:2888:3888

storm.yaml 

storm.zookeeper.servers:
     - "server0"
     - "server1"
     - "server2"

nimbus.seeds: ["server0"]

storm.local.dir: "/home/xxx/storm/data"

шаг теста

  1. Запустите сервер zookeeper на этих трех хостах.Проверка статуса зоопарка.Это нормально.

  2. Запустите штормовый нимб на хосте (server0).Запустить шторм-интерфейс на хосте (server0)

  3. Запустить шторм-супервизор на хостах (server0, server1, server2)

  4. Проверить состояние шторма встраница пользовательского интерфейса.Это нормально.

  5. Отправить топологию, успешно

  6. После того, как через 1 минуту умер супервизор, супервизор жив (server0).

supervisor.log 


2018-11-20 04:44:17.346 o.a.s.u.NimbusClient Async Localizer [WARN] Using deprecated config nimbus.host for backward compatibility. Please update your storm.yaml so it only has config nimbus.seeds
2018-11-20 04:44:17.416 o.a.s.u.NimbusClient Async Localizer [INFO] Found leader nimbus : ubuntu:6627
...
2018-11-20 04:44:27.551 o.a.s.u.NimbusClient Async Localizer [WARN] Ignoring exception while trying to get leader nimbus info from server0. will retry with a different seed host.
java.lang.RuntimeException: java.lang.RuntimeException: org.apache.storm.thrift.transport.TTransportException: java.net.UnknownHostException: ubuntu
...
2018-11-20 08:06:29.129 o.a.s.l.AsyncLocalizer Async Localizer [WARN] Failed to download basic resources for topology-id hello02-1-1542719091
2018-11-20 08:06:29.129 o.a.s.d.s.AdvancedFSOps Async Localizer [INFO] Deleting path /home/dragonlab/apache-storm-1.1.1/data/supervisor/tmp/bbca1ecb-60c2-4cb7-a98d-7d82ed6aa716
2018-11-20 08:06:29.139 o.a.s.d.s.AdvancedFSOps Async Localizer [INFO] Deleting path /home/dragonlab/apache-storm-1.1.1/data/supervisor/stormdist/hello02-1-1542719091
2018-11-20 08:06:29.139 o.a.s.l.AsyncLocalizer Async Localizer [WARN] Caught Exception While Downloading (rethrowing)... 
org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [server0]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
    at org.apache.storm.utils.NimbusClient.getConfiguredClientAs(NimbusClient.java:111) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:57) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.blobstore.NimbusBlobStore.prepare(NimbusBlobStore.java:268) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.utils.Utils.getClientBlobStoreForSupervisor(Utils.java:538) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.downloadBaseBlobs(AsyncLocalizer.java:121) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.call(AsyncLocalizer.java:148) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.call(AsyncLocalizer.java:101) ~[storm-core-1.1.1.jar:1.1.1]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_191]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_191]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_191]
    at java.lang.Thread.run(Thread.java:748) [?:1.8.0_191]
2018-11-20 08:06:29.140 o.a.s.d.s.Slot SLOT_6705 [ERROR] Error when processing event
java.util.concurrent.ExecutionException: org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [server0]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
    at java.util.concurrent.FutureTask.report(FutureTask.java:122) ~[?:1.8.0_191]
    at java.util.concurrent.FutureTask.get(FutureTask.java:206) ~[?:1.8.0_191]
    at org.apache.storm.localizer.LocalDownloadedResource$NoCancelFuture.get(LocalDownloadedResource.java:63) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.daemon.supervisor.Slot.handleWaitingForBasicLocalization(Slot.java:413) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.daemon.supervisor.Slot.stateMachineStep(Slot.java:273) ~[storm-core-1.1.1.jar:1.1.1]
    at org.apache.storm.daemon.supervisor.Slot.run(Slot.java:741) ~[storm-core-1.1.1.jar:1.1.1]
Caused by: org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [server0]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
...
2018-11-20 08:06:29.140 o.a.s.d.s.Slot SLOT_6704 [ERROR] Error when processing event
...
2018-11-20 08:06:29.142 o.a.s.d.s.Supervisor Thread-5 [INFO] Shutting down supervisor 3646a850-ce83-470c-a6c9-d69257780241
2018-11-20 08:06:29.143 o.a.s.e.EventManagerImp Thread-4 [INFO] Event manager interrupted

Каждый раз, когда я очищал данные зоокейпера и штурмовал временные данные. 

rmr /storm

Как я могу решить следоватьсообщение об ошибке: «Не удалось найти ведущий nimbus с сервера семян seed server0. Вы указали действительный список хостов nimbus для config nimbus.seeds?»

Пинг до «server0» в порядке.Почему супервизоры не могут найти 'server0'.

спасибо

...