Кафка в паб Google / Sub с помощью Sink Connector - PullRequest
Новая
       15

Кафка в паб Google / Sub с помощью Sink Connector

0 голосов
/ 21 марта 2019

Извините за основной вопрос.

Требование: необходимо отправить полезную нагрузку json из приложения весенней загрузки в подпункт google pub.

Я приступил к реализации производителя kafka и публикации сообщений в темах и изтам потребитель kafka получает json.

Теперь мне нужно отправить полезную нагрузку json от потребителя kafka в google pub / sub.Я в замешательстве, если мне нужен потребитель kafka для этого .. Или просто от производителя kafka в подпункт google pub, который я могу отправить с помощью kafka connector.jar и настройки в темах в свойствах.Любая помощь очень ценится для этой реализации

1 Ответ

2 голосов
/ 21 марта 2019

Если вы хотите получать сообщения от Kafka в Google Cloud Pub / Sub, вам не нужно писать своего собственного потребителя. Вы можете создать экземпляр коннектора Google Cloud Pub / Sub Kafka . Сервис Kafka Connect обычно является частью самого развертывания Kafka, поэтому вам просто нужно запустить его экземпляр, настроенный для запуска коннектора синхронизации Cloud Pub / Sub. Файл README для соединителя подробно описывает шаги, которые необходимо выполнить, но суммируя:

  1. Загрузите последний выпуск и соберите его с помощью команды mvn package.
  2. Скопируйте target / cps-kafka-connector.jar в место в вашем пути Java, чтобы оно было доступно при запуске Kafka Connect.
  3. Скопируйте конфигурацию приемника и измените его так, чтобы он указывал на соответствующий проект и тему Cloud Pub / Sub и соответствующие темы Kafka.
  4. Создайте копию config / connect-standalone.properties или config / connect-distributed.properties в зависимости от того, хотите ли вы, чтобы запущен один или несколько экземпляров соединителя.
  5. Обновите свойства key.converter и value.converter до org.apache.kafka.connect.storage.StringConverter. Таким образом, соединитель не будет пытаться интерпретировать передаваемые данные, а просто передаст JSON напрямую в Cloud Pub / Sub.
  6. Запустите соединитель с соответствующей командой на основе отдельного и распределенного соединителя, например, bin/connect-standalone.sh <standalone config file> <connector config file>.

Сообщения теперь должны поступать из Кафки в Google Cloud Pub / Sub. Если вы просто используете Kafka для перехода из Spring Boot в Cloud Pub / Sub, то вы можете избежать шага Kafka, настроив адаптер исходящего канала для прямой отправки сообщений в Cloud Pub / Sub .

.
...