Я пишу докеризованное приложение Java 9 Spring с использованием Apache Storm 1.1.2, Apache Kafka 0.10, Zookeeper и Docker Compose.
Моя топология полностью работала на локальном кластере внутри моего dockerized сервиса, но теперь, когда я перемещаю его в рабочий кластер, возникает проблема.
Мой сервис для создания топологий отправки в кластере Storm, кажется, работает нормально, и код выглядит в основном так внутри PostConstruct
KafkaSpoutConfig<String,String> spoutConf =
KafkaSpoutConfig.builder("kafka:9092", "topic")
.setProp(ConsumerConfig.GROUP_ID_CONFIG, "my-group-id")
.setProp(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, MyDeserializer.class)
.build();
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("kafkaSpoutId", new KafkaSpout<String,String>(spoutConf));
builder.setBolt("boltId", new MyBolt()).shuffleGrouping("kafkaSpoutId");
Config conf = new Config();
conf.setNumWorkers(2);
conf.put(Config.STORM_ZOOKEEPER_SERVERS, List.of("zookeeper"));
conf.put(Config.STORM_ZOOKEEPER_PORT, 2181);
conf.put(Config.NIMBUS_SEEDS, List.of("nimbus"));
conf.put(Config.NIMBUS_THRIFT_PORT, 6627);
System.setProperty("storm.jar","/opt/app.jar");
StormSubmitter.submitTopology("topology-id", conf, builder.createTopology());
И мой файл для создания докера выглядит следующим образом.
version: "2.1"
services:
my-service:
image: my-service
mem_limit: 4G
memswap_limit: 4G
networks:
- default
environment:
- SPRING_PROFILES_ACTIVE=local
nimbus:
image: storm:1.1.2
container_name: nimbus
command: >
storm nimbus
-c storm.zookeeper.servers="[\"zookeeper\"]"
-c nimbus.seeds="[\"nimbus\"]"
networks:
- default
ports:
- 6627:6627
supervisor:
image: storm:1.1.2
container_name: supervisor
command: >
storm supervisor
-c storm.zookeeper.servers="[\"zookeeper\"]"
-c nimbus.seeds="[\"nimbus\"]"
networks:
- default
depends_on:
- nimbus
links:
- nimbus
restart: always
ports:
- 6700
- 6701
- 6702
- 6703
ui:
image: storm:1.1.2
command: storm ui -c nimbus.seeds="[\"nimbus\"]"
networks:
- default
ports:
- 8081:8080
networks:
default:
external:
name: myNetwork
Все контейнеры подняты. В пользовательском интерфейсе я вижу топологию, созданную в пост-конструкции, но сообщения Kafka не обрабатываются, и болт, который должен использовать местные производители Kafka для создания агрегатов, не публикуется.
В контейнере супервизора на /logs/worker-artifact/topology-id****/6700/worker.log
я вижу повторение двух исключений.
Первый (и, я думаю, более важный): ClassNotFoundException: org.apache.storm.kafka.spout.KafkaSpout
и второе исключение org.apache.storm.shade.org.jboss.netty.channel.ChannelException: Failed to bind to: 0.0.0.0/0.0.0.0:6700
UPDATE
К сожалению, я не могу опубликовать весь свой pom, но вот мои зависимости от шторма
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-core</artifactId>
<version>${storm.version}</version>
</dependency>
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka-client</artifactId>
<version>${storm.version}</version>
</dependency>
<dependency>
<groupId>javax.servlet</groupId>
<artifactId>javax.servlet-api</artifactId>
</dependency>
и вот мой плагин spring-boot-maven-plugin. Хотя я добавил конфигурацию, чтобы сделать jar-файл, скопированный в мой контейнер, неисполнимым, сделал бы свое дело. Когда я проверяю jar в контейнере, кажется, что в строках зависимости есть jar, но также есть тонна идиотских символов
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration>
<executable>false</executable>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-resources-plugin</artifactId>
</plugin>
</plugins>
</build>
Вот большая часть моего dockerfile
FROM ${docker.repository}/openjdk:9.0.1
EXPOSE 80 1099
WORKDIR /opt
ENTRYPOINT ["java", \
"-Dinfo.serviceName=${project.artifactId}", \
"-Dinfo.serviceVersion=${project.version}"]
CMD ["-jar", "app.jar"]
LABEL VERSION="${project.version}" DESCRIPTION="${project.description}"
COPY ${project.build.finalName}-exec.jar /opt/app.jar