Kafka-Connect добавляет файл SQL JAR в classpath - PullRequest
Новая
       6

Kafka-Connect добавляет файл SQL JAR в classpath

0 голосов
/ 29 мая 2018

Я пытаюсь развернуть автономное задание подключения для потоковой передачи с сервера mssql, однако столкнулся с проблемой (Kafka-Connect является частью моего развертывания Ambari, а не докера).Это файл свойств, который я использую: 

name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
connection.user=ue
connection.password=pw
tasks.max=1
connection.url=jdbc:sqlserver://servername
topic.prefix=iblog
query=SELECT * FROM IB_WEBLOG_DUMMY_small
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter
poll.interval.ms=5000
table.poll.interval.ms=120000
mode=incrementing
incrementing.column.name=ID

Я добавил jar файл sqljdbc42.jar в /usr/share/java и запустил export CLASSPATH=/usr/share/java/*

, однако я все еще сталкиваюсь сошибка Failed to find any class that implements Connector and which name matches io.confluent.connect.jdbc.JdbcSourceConnector

Я делаю что-то не так или я могу проверить что-то еще?

Ответы [ 4 ]

0 голосов
/ 07 декабря 2018

У меня тоже была такая же проблема.с соединителем Couchbase не найден

ОШИБКА Остановка после ошибки коннектора (org.apache.kafka.connect.cli.ConnectStandalone: ​​113) java.util.concurrent.ExecutionException: org.apache.kafka.connect.errors.ConnectException: не удалось найти любой класс, который реализует Connector и чье имя совпадает с com.couchbase.connect.kafka.CouchbaseSourceConnector

Установка classpath теряла существующий classpath, и я не мог добавить его как classpathЯ переместил требуемый файл jar из kafka-connect-couchase / *. Jar файлы в / path / kafka_verison / libs / libs - это папка, в которой хранится весь файл jar.

0 голосов
/ 02 июня 2018

Kafka-Connect является частью моего развертывания Ambari

Это может означать, что вы используете установку Hortonworks

Вам необходимо

  1. git clone https://github.com/confluentinc/kafka-connect-jdbc/
  2. Оформить ветку релиза, которая идеально соответствует вашей версии Kafka.Например, ветвь v3.1.2 is Kafka 0.10.1.1
  3. mvn clean package создаст несколько папок в target/ этого проекта
  4. SCP, эти файлы ко всем Kafka Connectрабочие в вашем кластере в /usr/hdp/current/kafka/.../share/java/kafka-connect-jdbc (создайте это, если не существует)
  5. Перезапустите процессы Kafka, чтобы выбрать новые настройки CLASSPATH

Возможно, вам понадобятся некоторые дополнительные пакеты Confluent, которые JDBCподключение зависит от

0 голосов
/ 06 декабря 2018

Я столкнулся с той же проблемой, я решил ее, запустив connect-standalone в корневой папке confluent, в моем случае это было: /opt/confluent-5.0.1

0 голосов
/ 29 мая 2018

Вам нужно включить файл kafka-connect-jdbc jar, который содержит класс io.confluent.connect.jdbc.JdbcSourceConnector.

Если вы используете maven, вы можете добавить его как зависимость:

[Добавьте следующий репозиторий в свой проект, если вы еще этого не сделали.] 

<repository>
  <id>confluent</id>
  <url>http://packages.confluent.io/maven/</url>
</repository>

После этого добавьте следующую зависимость: 

<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-connect-jdbc</artifactId>  
    <version>3.3.0 (or whatever version you want)</version>
</dependency>

https://github.com/confluentinc/kafka-connect-jdbc/issues/356

...