NoClassDefFoundError: kafka / api / OffsetRequest для фляги Storm - PullRequest
Новая
       99

NoClassDefFoundError: kafka / api / OffsetRequest для фляги Storm

1 голос
/ 28 января 2020

Я пытаюсь передать топологию Storm в кластер, но постоянно получаю одну и ту же ошибку: 

Exception in thread "main" java.lang.NoClassDefFoundError: kafka/api/OffsetRequest
    at org.apache.storm.kafka.KafkaConfig.<init>(KafkaConfig.java:48)
    at org.apache.storm.kafka.trident.TridentKafkaConfig.<init>(TridentKafkaConfig.java:30)
    at storm.StormStreaming$.main(StormStreaming.scala:41)
    at storm.StormStreaming.main(StormStreaming.scala)
Caused by: java.lang.ClassNotFoundException: kafka.api.OffsetRequest
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 4 more

Я отправляю файл jar, используя 

./storm jar /patht/storm-app.jar storm.StormStreaming

Как это можно исправить? Я попытался совместить версии ресурсов - Kafka и Storm - но, похоже, это не работает. Мой файл build.sbt: 

scalaVersion := "2.12.8"
val sparkVersion = "2.4.4"
val flinkVersion = "1.9.1"
val stormVersion = "2.1.0"
val kafkaVersion = "2.4.0"
    dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-core" % "2.9.6"
    dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-databind" % "2.9.6"
    dependencyOverrides += "com.fasterxml.jackson.module" % "jackson-module-scala_2.11" % "2.9.6"

    libraryDependencies ++= Seq(
      "org.apache.kafka" %% "kafka" % kafkaVersion excludeAll(
        ExclusionRule("org.slf4j", "slf4j-log4j12"),
        ExclusionRule("log4j", "log4j"),
        ExclusionRule("org.apache.zookeeper", "zookeeper")
        ),
      "org.apache.spark" %% "spark-sql-kafka-0-10" % sparkVersion,
      "org.apache.spark" %% "spark-core" % sparkVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.spark" %% "spark-streaming" % sparkVersion,
      "org.apache.spark" %% "spark-sql" % sparkVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.spark" %% "spark-streaming-kafka-0-10" % sparkVersion,
      "com.typesafe" % "config" % "1.3.3",
      "org.twitter4j" % "twitter4j-core" % "4.0.7",
      "org.twitter4j" % "twitter4j-stream" % "4.0.7",
      "org.apache.flink" % "flink-core" % flinkVersion % "provided",
      "org.apache.flink" %% "flink-streaming-scala" % flinkVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.flink" %% "flink-scala" % flinkVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.flink" %% "flink-clients" % flinkVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.flink" %% "flink-connector-kafka" % flinkVersion,
      "org.apache.flink" %% "flink-runtime-web" % flinkVersion,
      "org.apache.flink" % "flink-avro-confluent-registry" % flinkVersion,
      "org.apache.storm" % "storm-core" % stormVersion % "provided" excludeAll(
        ExclusionRule("org.slf4j", "slf4j-log4j12"),
        ExclusionRule("org.slf4j", "log4j-over-slf4j")
        ),
      "org.apache.storm" % "storm-kafka-client" % stormVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.storm" % "storm-sql-core" % stormVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.storm" % "storm-sql-runtime" % stormVersion excludeAll("org.slf4j", "slf4j-log4j12"),
      "org.apache.storm" % "storm-kafka" % "1.2.3" excludeAll("org.slf4j", "slf4j-log4j12")
    )

1 Ответ

3 голосов
/ 28 января 2020

Вы используете не ту банку Кафки. Вы должны зависеть от org.apache.kafka:kafka-clients вместо org.apache.kafka:kafka_2.xx, который является jar на стороне сервера Kafka.

Зависимость от kafka/api/OffsetRequest исходит от storm-kafka, который не должен использоваться. Он использует старый клиентский API Kafka, которого больше нет в Kafka. Вместо этого используйте storm-kafka-client.

...