Как интегрировать исходный код API Rest с Kafka Connect? - PullRequest
Новая
       6

Как интегрировать исходный код API Rest с Kafka Connect?

0 голосов
/ 23 ноября 2018

У меня Confluent 5.0 на локальном компьютере, и я пытаюсь читать данные из Rest API с помощью Rest API Source Connect, который не является частью confluent.до сих пор я использовал только сливные встроенные разъемы.Соединение с исходным API-интерфейсом с открытым исходным кодом доступно на github https://github.com/llofberg/kafka-connect-rest

Я скачал этот соединитель с github и застрял здесь.

Кто-нибудь может сказать мне процесс интеграции этого соединителя со слитым или как я могу использовать это для извлечения данных из Rest API?

1 Ответ

0 голосов
/ 24 ноября 2018

Отказ от ответственности: Нет единого ответа на добавление внешнего плагина Kafka Connect;Confluent предоставляет плагин Kafka Connect Maven, но это не значит, что люди используют его или даже Maven для упаковки своего кода.

Если его нет в Confluent Hub, вам придется создавать его вручную.

1) Клонируйте репозиторий и соберите его (сначала установите Git и Maven) 

git clone https://github.com/llofberg/kafka-connect-rest && cd kafka-connect-rest
mvn clean package

2) Создайте для него каталог на всех работниках Connect, аналогично другимРазъемы Confluent Platform 

mkdir $CONFLUENT_HOME/share/java/kafka-connect-rest

3) Найдите каждый заштрихованный JAR (этот соединитель может создавать несколько JAR, я не знаю почему ...) 

find . -iname "*shaded.jar" -type f

./kafka-connect-transform-from-json/kafka-connect-transform-from-json-plugin/target/kafka-connect-transform-from-json-plugin-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-add-headers/target/kafka-connect-transform-add-headers-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-velocity-eval/target/kafka-connect-transform-velocity-eval-1.0-SNAPSHOT-shaded.jar
./kafka-connect-rest-plugin/target/kafka-connect-rest-plugin-1.0-SNAPSHOT-shaded.jar

4) Скопируйте каждый из этих файлов в папку $CONFLUENT_HOME/share/java/kafka-connect-rest, созданную на шаге 2 для каждого сотрудника Connect

5) Убедитесь, что ваш plugin.path из файла connect-*.properties указывает на полный путь к $CONFLUENT_HOME/share/java

На данный момент вы выполнили все шаги, перечисленные в README, чтобы построить вещь и установить путь к плагину , но не в Docker.

6) Start Connect (Distributed)

7) Нажмите GET /connector-plugins, чтобы проверить загруженную вещь.

8) Сконфигурировать и отправить полезную нагрузку JSON на POST /connectors

Я не использовал этот разъем ранее, поэтому не знаю, как его настроить.Может быть, посмотрите примеры или следуйте вместе с постом @ rmoff в блоге до того, как KSQL напишет

...