Использование разъема с установленным Helm Kafka / Confluent - PullRequest
Новая
       21

Использование разъема с установленным Helm Kafka / Confluent

4 голосов
/ 01 апреля 2019

Я установил Kafka на локальный Minikube, используя диаграммы Шлема https://github.com/confluentinc/cp-helm-charts, следуя этим инструкциям https://docs.confluent.io/current/installation/installing_cp/cp-helm-charts/docs/index.html примерно так: 

helm install -f kafka_config.yaml confluentinc/cp-helm-charts --name kafka-home-delivery --namespace cust360

kafka_config.yaml почти идентичен стандартному yaml, за исключением того, что я сократил его до 1 сервера / брокера вместо 3 (только потому, что я пытаюсь сохранить ресурсы на локальном мини-кубе; надеюсь, это не имеет отношения к моей проблеме).

На Minikube также работает экземпляр MySQL. Вот вывод kubectl get pods --namespace myNamespace:

enter image description here

Я хочу соединить MySQL и Kafka, используя один из разъемов (например, Debezium MySQL CDC ). В инструкции написано:

Установите разъем

Используйте клиент Confluent Hub для установки этого разъем с:

confluent-hub install debezium/debezium-connector-mysql:0.9.2

Звучит хорошо, за исключением 1) Я не знаю, на каком модуле запускается эта команда, 2) Кажется, ни на одном из модулей нет команды confluent-hub.

Вопросы:

  1. Разве Confluent-Hub не устанавливается через эти таблицы Хелма?
  2. Нужно ли самому устанавливать confluent-hub?
  3. Если да, то на какой модуль я должен установить его?

Ответы [ 2 ]

4 голосов
/ 09 мая 2019

В идеале это должно настраиваться как часть скрипта helm, но, к сожалению, это не так, как сейчас. Один из способов обойти это - создать новый Docker из образа Confluent Kafka Connect Docker. Загрузите соединитель вручную и извлеките содержимое в папку. Скопируйте содержимое этого в путь в контейнере. Что-то вроде ниже.

Содержимое Dockerfile 

FROM confluentinc/cp-kafka-connect:5.2.1
COPY <connector-directory> /usr/share/java

/usr/share/java - это место по умолчанию, где Kafka Connect ищет плагины. Вы также можете использовать другое местоположение и указать новое местоположение (plugin.path) во время установки helm.

Создайте этот образ и разместите его где-нибудь доступным. Вы также должны будете предоставить / переопределить изображение и метки во время установки helm.

Здесь - это путь к файлу values.yaml. Вы можете найти значения image и plugin.path здесь.

2 голосов
/ 02 апреля 2019

В модуле Kafka Connect уже должен быть установлен концентратор.Это тот модуль, на котором вы должны запускать команды.

...