Создайте объединенный образ докера для снежинки-kafka-соединителя с помощью cp-kafka-connect-base для развертывания на кластере подключения kafka - PullRequest
Новая
       6

Создайте объединенный образ докера для снежинки-kafka-соединителя с помощью cp-kafka-connect-base для развертывания на кластере подключения kafka

0 голосов
/ 10 октября 2019

(отправка от имени клиента)

.........................

Мыиспользуя кластер kafka connect на kubernetes (рулевые диаграммы).

Однако для установки плагина рекомендуется расширить образ, предоставляемый «cp-kafka-connect-base», с помощью локального коннектора. Дополнительные инструкции здесь: https://docs.confluent.io/current/connect/managing/extending.html#create-a-docker-image-containing-local-connectors

Я не могу сделать это с разъемом снежинки кафки.

Есть ли какие-либо рекомендуемые обходные пути?

PS:

Для PoC я запустил kafka connect на своем локальном компьютере и добавил jar-файл снежинки-кафки-коннектора в каталог плагинов, который работал нормально. Но нужен этот образ докера для производственного развертывания.

1 Ответ

3 голосов
/ 18 октября 2019

Вы пробовали монтировать внешние тома с помощью Docker и отображать это местоположение, где хранится банка Snowflake Connector: https://docs.confluent.io/current/installation/docker/operations/external-volumes.html#

Например:

Перейдите к ~ / cp-docker-images/ examples / cp-all-in-one

Открыть docker-compose.yml в текстовом редакторе

Добавить последние строки (ниже) в файл и сохранить его 

  connect:
    image: confluentinc/kafka-connect-datagen:latest
    build:
      context: .
      dockerfile: Dockerfile
    hostname: connect
    container_name: connect
    depends_on:
      - zookeeper
      - broker
      - schema-registry
    ports:
      - "8083:8083"
    volumes:
      - ~/my-location:/etc/kafka-connect/jar

И измените путь подключаемого подключаемого модуля, чтобы прочитать что-то вроде этого; 

 CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components,/etc/kafka-connect/jars"

Тома: Это сопоставляет локальный каталог с расположением логической файловой системы в Docker. Поэтому, когда он запускается, он может читать из ~ / my-location на моем Mac (или что-то, что вы здесь поместили) через отображение / etc / kafka-connect / jars

Путь к подключаемому плагину: И вы можете видеть, что мы просто добавили / etc / kafka-connect / jars в качестве известного местоположения, а затем Kafka Connect, чтобы искать новые соединители для загрузки для использования.

Надеюсь, это поможет.

...