Как подключить кафку к mysql? - PullRequest
Новая
       51

Как подключить кафку к mysql?

0 голосов
/ 26 марта 2019

Пытаюсь подключить кафку с mysql на windows.Я не использую слияния.Моя версия Кафки - 2.12. Я запустил zookeeper, Kafka, производителя и потребителя. Все это работает отлично.

Моя версия MysQL 8.0.15

И я скопировал эти 3 jar-файла в папку libs 

mysql-connector-java-8.0.15.jar
mysql-connector-java-5.1.47.jar
mysql-connector-java-5.1.47-bin.jar

Мой код файла source-quickstart-mysql.propertiesis 

name=test-source-mysql-jdbc-autoincrement        connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://localhost:3306/databasename? 
user=rootname&password=password
mode=incrementing
incrementing.column.name=ID
topic.prefix=my-replicated-topic-table1

Когда я запускаю команду 

connect-standalone.bat ..\..\config\connect-standalone.properties  ..\..\config\source-quickstart-mysql.properties

Я получаю эту ошибку на консоли

[2019-03-26 16:16:39,524] ОШИБКА Не удалось создать задание для .... \ config \ source-quickstart-mysql.properties (org.apache.kafka.connect.cli.ConnectStandalone) [2019-03-26 16: 16: 39,524] Остановка послеошибка соединителя (org.apache.kafka.connect.cli.ConnectStandalone) java.util.concurrent.ExecutionException: org.apache.kafka.connect.errors.ConnectException: не удалось найти любой класс, который реализует соединитель и имя которого соответствует io.confluent.connect.jdbc.JdbcSourc eConnector, доступны следующие соединители: PluginDesc {klass = class org.apache.kafka.connect.file.FileStreamSinkConnector, name = 'org.apache.kafka.connect.file.FileStreamSinkConnector', версия = '2.1.0 ', кодировка edVersion = 2.1.0, type = сток, typeName =' sink ', location =' classpath '}, PluginDesc {klass = class org.apache.kafka.connect.file.FileStreamSourceConnector, name =' org.apache.kafka.connect.file.FileStreamSource Connector ', версия =' 2.1.0', encodedVersion = 2.1.0, type = source, typeName =' source ', location =' classpath '}, PluginDesc {klass = class org.apache.kafka.connect.tools.MockConnector, name =' org.apache.kafka.co nnect.tools.MockConnector ', версия =' 2.1.0 ', encodedVersion = 2.1.0, тип = соединитель, typeName =' соединитель ', местоположение =' classpath '}, PluginDesc {klass = class org.apache.kafka.connect.tools.MockSinkConnector, name = 'org.apache.kafka.connect.tools.MockSinkConnector', версия = '2.1.0', encodedVersion = 2.1.0, тип = сток, typeName = 'сток', местоположение = 'classpath '}, PluginDesc {klass = class org.apache.kafka.connect.tool s.MockSourceConnector, name =' org.apache.kafka.connect.tools.MockSourceConnector ', версия =' 2.1.0 ', encodedVersion = 2.1.0, type = source, typeName = 'source', location = 'classpath'}, PluginDesc {klass = class o rg.apache.kafka.connect.tools.SchemaSourceConnector, name = 'org.apache.kafka.connect.tools.SchemaSourceConnector', версия = '2.1.0', encodedVersion = 2.1.0, type = source, typeName = 'source', location = 'путь к классу'},PluginDesc {klass = class org.apache.kafka.connect.tools.VerifiableSinkConnector, name = 'org.apache.kafka.connect.tools.VerifiableSinkConnector', версия = '2.1.0', encodedVersion = 2.1.0, тип = источник, typeName = 'source', location = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools.VerifiableSourceConnector, name = 'org.apache.kafka.connect.tools.VerifiableSourceConnector', version = '2 .1.0 ', encodedVersion = 2.1.0, type = source, typeName =' source ', location =' classpath '} в org.apache.kafka.connect.util.ConvertingFutureCallback.result (ConvertingFutureCallback.java:79) в организации.apache.kafka.connect.util.ConvertingFutureCallback.get (ConvertingFutureCallback.java:66) в org.apache.kafka.connect.cli.ConnectStandalone.main (ConnectStandalone.java:110) Причина: org.apache.kafka.connect.errors.ConnectException: ошибкаи любой класс, который реализует Connector и имя которого совпадает с io.confluent.connect.jdbc.JdbcSourceConnector, доступны следующие подключения: PluginDesc {klass = class org.apache.kafka.connect.file.FileStreamSinkConnector, name = 'org.apache.kafka.connect.file.FileStreamSinkConnector ', версия =' 2.1.0 ', encodedVersion = 2.1.0, тип = сток, ty peName =' сток ', location =' classpath '}, PluginDesc {klass = classorg.apache.kafka.connect.file.FileStreamSourceConnector, имя = 'org.apache.kafka.connect.file.FileStreamSourceConnector', версия = '2.1.0', е ncodedVersion = 2.1.0, type = source, typeName = 'source', location = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools.MockConnector, name = 'org.apache.kafka.connect.tools.MockConnector', ve rsion = '2.1.0', encodedVersion = 2.1.0, тип = соединитель, typeName = 'соединитель', местоположение = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools.MockSinkConnector, имя org.apache.kafka.connec = ' t.tools.MockSinkConnector ', версия =' 2.1.0 ', encodedVersion = 2.1.0, тип = сток, typeName =' сток ', location = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools.MockSourceConnector, name = 'o rg.apache.kafka.connect.tools.MockSourceConnector ', версия =' 2.1.0 ', encodedVersion = 2.1.0, type = source, typeName =' source ', location = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools. SchemaSourceConnector, name = 'org.apache.kafka.connect.tools.SchemaSourceConnector', version = '2.1.0', encodedVersion = 2.1.0, type = source, typeName = 'source', location = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools.VerifiableSinkConnector, name = 'org.apache.kafka.connect.tools.VerifiableSinkConnector', version = '2.1.0', encodedVersion = 2.1.0, type = source, typeName = 'source', место = 'classpath'}, PluginDesc {klass = class org.apache.kafka.connect.tools.VerifiableSourceConnector, имя = 'org.apache.kafka.connect.tools.VerifiableSourceConnector', версия = '2.1.0', кодированная версия = 2.1.0, т ype = source, typeName = 'source', location = 'classpath'} в org.apache.kafka.connect.runtime.isolation.Plugins.newConnector (Plugins.java:179) на org.apache.kafka.connect.runtime.AbstractHerder.getConnector (AbstractHerder.java:382) в org.apache.kafka.connect.runtime.AbstractHerder.validateConnectorConfig (AbstractHerder.java:261) в org.apache.kafka.connect.runtime.standalone.StandaloneHerder.putConnectorConfig (StandaloneHerder.java:189) в org.apache.kafka.connect.cli.ConnectStandalone.main (ConnectStandalone.java:107)

Пожалуйста, помогите мне.

Я также пробовал эту статью, но с помощью команды не генерируется вывод Загрузите bin / confluent jdbc-source -d jdbc-source.properties https://supergloo.com/kafka-connect/kafka-connect-mysql-example/

1 Ответ

1 голос
/ 26 марта 2019

Ваша ошибка 

 org.apache.kafka.connect.errors.ConnectException: Failed to find any class that 
 implements Connector and which name matches io.confluent.connect.jdbc.JdbcSourceConnector

Что, поскольку вы говорите, что не используете Confluent Platform, имеет смысл, потому что kafka-connect-jdbc не является частью Apache Kafka.Вы можете использовать Confluent Platform, создать соединитель из источника или загрузить его по адресу http://hub.confluent.io.

...