Как добавить драйвер JDBC в Kafka Connect на DC / OS? - PullRequest
Новая
       68

Как добавить драйвер JDBC в Kafka Connect на DC / OS?

0 голосов
/ 12 ноября 2018

запуск Kafka Connect 4.1.1 на DC / OS с использованием пакета сообщества confluent. Как мы можем загрузить или добавить наш драйвер jdbc в удаленный кластер?

Обновление: это установленный пакет DC / OS каталог, который является платформой mesos и запускает образы докера.

1 Ответ

0 голосов
/ 13 ноября 2018

Обновление

Сценарий заимствован у здесь (спасибо @rmoff)

Это пример переопределения Docker CMD скриптом bash для загрузки и извлечения коннектора источника REST API. 

bash -c 'echo Installing unzip… && \
                curl -so unzip.deb http://ftp.br.debian.org/debian/pool/main/u/unzip/unzip_6.0-16+deb8u3_amd64.deb && \
                dpkg -i unzip.deb && \
                echo Downloading connector… && \
                curl -so kafka-connect-rest.zip https://storage.googleapis.com/rmoff-connectors/kafka-connect-rest.zip && \
                mkdir -p /u01/connectors/ && \
                unzip -j kafka-connect-rest.zip -d /u01/connectors/kafka-connect-rest && \
                echo Launching Connect… && \
                /etc/confluent/docker/run'

Вам нужно будет создать свои собственные образы Docker и опубликовать их в разрешаемом реестре Docker для вашего кластера Mesos, а затем отредактировать службу Mesos, чтобы получать эти изображения вместо Confluent.

Например, в ваших файлах Docker у вас будет 

ADD http://somepath.com/someJDBC-driver.jar /usr/share/java/kafka-connect-jdbc

Или curl, а не ADD, как показано в Документах Confluent (поскольку необходимо извлечь этот файл .tar.gz). 

FROM confluentinc/cp-kafka-connect

ENV MYSQL_DRIVER_VERSION 5.1.39

RUN curl -k -SL "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-${MYSQL_DRIVER_VERSION}.tar.gz" \
    | tar -xzf - -C /usr/share/java/kafka-connect-jdbc/ --strip-components=1 mysql-connector-java-5.1.39/mysql-connector-java-${MYSQL_DRIVER_VERSION}-bin.jar

Вы также можете использовать confluent-hub install для добавления других коннекторов, которые не являются файлами JDBC JAR

...