Использование обработчика метаданных JDBC StreamSets 3.8 в StreamSets версии 2.5 - PullRequest
Новая
       63

Использование обработчика метаданных JDBC StreamSets 3.8 в StreamSets версии 2.5

1 голос
/ 23 сентября 2019

Моя команда должна использовать старую версию StreamSet версии 2.5.Но в версии 3.8 есть несколько важных процессоров, которые мы хотим включить в старую среду, а именно JDBC Meta Data Processor.

Что было сделано ниже:

  1. Создайте пример проекта настраиваемого процессора с помощью StreamSets версии 2.5.1.1

    архетип mvn: generate -DarchetypeGroupId = com.streamsets -DarchetypeArtifactId = streamsets-datacollector-stage-lib-tutorial -DarchetypeVersion = 2.5.1.1 -DinteractiveMode = true

  2. Изменение кода на основе классов метаданных JDBC в StreamSets 3.8 с использованием справочной библиотеки в POM для StreamSets 3.8:

2.1 streamsets-datacollector-api

2.2 streamsets-datacollector-jdbc-protolib

Упакуйте и загрузите настроенный jar во внешнюю библиотеку пользовательского интерфейса StreamSets.

Загрузите jar зависимостей в пользовательский интерфейс StreamSets:

4.1 streamsets-datacollector-api-3.8.jar

4.2 streamsets-datacollector-jdbc-protolib-3.8.jar

Все найдено, за исключением того, что однажды я загрузил

streamsets-datacollector-jdbc-protolib-3.8.jar

и перезапустить StreamSets, в журнале есть ошибка: 

java.lang.NoClassDefFoundError: com/streamsets/pipeline/api/base/configurablestage/DPushSource
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
at com.streamsets.pipeline.BlackListURLClassLoader.findClass(BlackListURLClassLoader.java:77)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:341)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:323)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.loadStages(ClassLoaderStageLibraryTask.java:325)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.initTask(ClassLoaderStageLibraryTask.java:192)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.CompositeTask.initTask(CompositeTask.java:48)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.TaskWrapper.init(TaskWrapper.java:44)
at com.streamsets.datacollector.main.Main$1.run(Main.java:101)
at com.streamsets.datacollector.main.Main$1.run(Main.java:98)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at com.streamsets.datacollector.main.Main.doMain(Main.java:98)
at com.streamsets.datacollector.main.DataCollectorMain.main(DataCollectorMain.java:46)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.streamsets.pipeline.BootstrapMain.main(BootstrapMain.java:308)

Я заметил, что этот класс существует в jar API-3.8 и класс в API-2.5 существует, но с другим путем к пакету,

API-3.8 com / streamsets / pipe / api / base / configurablestage / DPushSource

API-2.5 com / streamsets / pipe / configurablestage / DPushSource

Есть какие-то намеки, которые мне не хватает, чтобы заставить его работать?Спасибо.

1 Ответ

0 голосов
/ 24 сентября 2019

Само собой разумеется, существует множество исправлений и улучшений, начиная с StreamSets Data Collector 2.5.0, и я настоятельно рекомендую вам обновить.

Сказав это, поскольку DPushSource относится только к источнику, ивы сосредоточены на процессоре, самый простой способ - просто удалить источник JDBC.Удалите все под jdbc-protolib/src/main/java/com/streamsets/pipeline/stage/origin/jdbc и попробуйте снова.

...