java.lang.NoClassDefFoundError при отправке задания Flink - PullRequest
Новая
       10

java.lang.NoClassDefFoundError при отправке задания Flink

1 голос
/ 08 июня 2019

Я пытаюсь отправить задание Flink, созданное в Scala 2.11, которое использует потоковый API Twitter в локальном кластере Flink, запустив в командной строке:

flink run -c org.myClass C:\path\to\jarFile.jar

И получите следующую ошибку: 

2019-06-09 23:40:47,758 WARN  org.apache.flink.runtime.webmonitor.handlers.JarRunHandler    - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.
2019-06-09 23:40:47,762 ERROR org.apache.flink.runtime.webmonitor.handlers.JarRunHandler    - Unhandled exception.
org.apache.flink.client.program.ProgramInvocationException: The program caused an error: 
    at org.apache.flink.client.program.OptimizerPlanEnvironment.getOptimizedPlan(OptimizerPlanEnvironment.java:93)
    at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:80)
    at org.apache.flink.runtime.webmonitor.handlers.utils.JarHandlerUtils$JarHandlerContext.toJobGraph(JarHandlerUtils.java:126)
    at org.apache.flink.runtime.webmonitor.handlers.JarRunHandler.lambda$getJobGraphAsync$6(JarRunHandler.java:142)
    at java.util.concurrent.CompletableFuture$AsyncSupply.run(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
    at java.lang.Thread.run(Unknown Source)
Caused by: java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/twitter/TwitterSource$EndpointInitializer
    at msciss.TwitterHashtagCounter.main(TwitterHashtagCounter.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
    at java.lang.reflect.Method.invoke(Unknown Source)
    at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:529)
    at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:421)
    at org.apache.flink.client.program.OptimizerPlanEnvironment.getOptimizedPlan(OptimizerPlanEnvironment.java:83)
    ... 7 more
Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.connectors.twitter.TwitterSource$EndpointInitializer
    at java.net.URLClassLoader.findClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    ... 15 more

Однако в программе я установил библиотеку TwitterSource в build.sbt s ниже: 

val flinkDependencies = Seq(
  "org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
  "org.apache.flink" %% "flink-streaming-scala" % flinkVersion % "provided",
  "org.apache.flink" %% "flink-connector-twitter" % flinkVersion,
  "commons-logging" % "commons-logging" % "1.2",
  "org.apache.logging.log4j" % "log4j-core" % "2.11.2",
  "org.apache.commons" % "commons-text" % "1.6")

Приложение также работает без проблем в IntelliJ, и sbt buld / package не создает никаких проблем. Как я могу решить эту проблему?

Ответы [ 2 ]

1 голос
/ 10 июня 2019

Вам необходимо использовать плагин sbt assembly или любой другой плагин, который позволяет создать Fat Jar (Uber Jar).В настоящее время ваш пакет не содержит внешних библиотек, и соединители flink считаются внешними библиотеками, поскольку они не включены в стандартную двоичную сборку.Таким образом, вы на самом деле создаете создаваемый вами пакет, не содержащий twitter-connector, но и сам Flink, поэтому вы получаете ClassNotFoundException.

0 голосов
/ 02 июля 2019

У меня толстая (убер) банка. Когда я взрываю его, я вижу, что коннектор также зависит. Тем не менее, когда я отправляю флягу как работу, я получаю исключение класса notfoundexception.

В чем может быть причина?

...