Ошибка запуска приложения Java CloudDataFlow с использованием Cloud Composer - PullRequest
Новая
       43

Ошибка запуска приложения Java CloudDataFlow с использованием Cloud Composer

0 голосов
/ 18 октября 2018

Я новичок в GCP и сталкиваюсь с ошибкой при попытке запустить приложение облачного потока данных для BeamTutorial с использованием GCP Cloud Composers DataflowJavaOperator.Воздушный поток забирает трубопровод, но терпит неудачу с ошибкой ниже.

gcp_dataflow_hook.py:115} INFO - Running command: java -cp /tmp/dataflow13ec2a50-BeamTutorial-0.0.1-SNAPSHOT.jar org.apache.beam.examples.tutorial.game.solution.Exercise2 --runner=DataflowRunner --project=..... --region=us-central1 --labels={"airflow-version":"v1-9-0-composer"} --jobName=run-beam-data-flow-java-1449a1da --outputPrefix=gs://..../ex2-spark/out
gcp_dataflow_hook.py:127} WARNING - Error: A JNI error has occurred, please check your installation and try again
[2018-10-18 09:35:00,316] {base_task_runner.py:98} INFO - Subtask: Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/beam/sdk/options/PipelineOptions

Этот BeamTutorial-0.0.1-SNAPSHOT.jar не является толстым jar-файлом и успешно выполняет задание в потоке данных при ручной отправке вручную из облачной оболочки gcp, как показано ниже 

mvn compile exec:java -Dexec.mainClass="org.apache.beam.examples.tutorial.game.solution.Exercise2" -Dexec.args="--runner=dataflow --project=<project-name> --outputPrefix=gs://..../beam-tutorial/ex2-spark/out" -Pdataflow-runner

Ценим любую помощь в исправлении этой ошибки.спасибо.

1 Ответ

0 голосов
/ 07 ноября 2018

При использовании DataFlowJavaOperator вам необходимо следовать инструкциям о том, как создать файл ".jar":

  • Добавить зависимость и плагинпо ссылке
  • Запустите mvn package, чтобы создать файл ".jar"

Как только вы это сделаете, я бы посоветовал убедиться, что файл ".jar" действительно запущенправильно, прежде чем пытаться запустить его внутри Composer.Таким образом, в этом случае , следуя инструкции , запустите: 

java -jar target/BeamTutorial-0.0.1-SNAPSHOT.jar   --runner=DataflowRunner   --p
roject=<my-project>   --tempLocation=<my-bucket>

Я также получу: 

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/beam/sdk/options/PipelineOptions
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
        at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
        at java.lang.Class.getMethod0(Class.java:3018)
        at java.lang.Class.getMethod(Class.java:1784)
        at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.beam.sdk.options.PipelineOptions
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more

Так что проблема выглядит более связанной с Java и как pomнастроен, что не создает действительный файл .jar, или он ожидает некоторых дополнительных параметров.В любом случае вам следует устранить неполадки с «.jar» / pom, прежде чем идти дальше.

Для некоторых других конвейеров, которые у меня есть, я успешно их запустил, используя DataflowJavaOperator и действительный файл «.jar».

...