Установка драйвера JDBC sql сервера в kakfa - образ wurstmeister / kafka - PullRequest
0 голосов
/ 08 марта 2019

Я выполняю синхронизацию таблицы сервера sql с Snowflake. Я мог бы использовать kafka для этого и найти образ докера - wurstmeister / kafka из концентратора докеров. Я клонировал репозиторий wurstmeister / kafka-docker и запустил docker-compose up -d из папки, в которой он клонирован. Все хорошо, пока здесь. Я хочу сейчас перейти к следующему шагу, т. Е.

  1. как установить jdbc из здесь в образ, в файл Docker? какой путь в контейнере? Это связано с таблицей sql server и выполнением оператора sql для получения измененных строк.
  2. Как настроить соединение, какой файл
  3. Нужно ли мне как-то подключать образ kakfak, если так, как это сделать, я полагаю, это будет в файле yml?
  4. Есть ли журнал, в котором я могу убедиться, что соединение прошло нормально.

Это вопросы в моей голове, и я довольно застрял. Я был бы очень признателен за любую помощь или указатель.

1 Ответ

1 голос
/ 08 марта 2019

Это для подключения таблицы сервера SQL и запуска оператора SQL, чтобы получить измененные строки.

Я бы рекомендовал использовать Kafka Connect для загрузки данных из базы данных. Для этого есть изображение Kafka Connect (вместе с другими) на https://hub.docker.com/r/confluentinc/

Специально для SQL Server у вас есть три варианта:

как установить отсюда jdbc в образ, в файл docker? какой путь в контейнере?

Вы можете создать свой собственный образ докера с запеченным коннектором или установить его как часть запуска. В этой статье рассматривается автоматическое развертывание соединителя .

Как настроить соединение, какой файл

Каждый разъем будет иметь свои собственные требования к конфигурации. Говоря в широком смысле, вы используете API REST Kafka Connect для его настройки (или файла свойств в автономном режиме).

Нужно ли мне как-то подключать образ kakfak, если так, как это сделать, я полагаю, он будет в файле yml?

Для этого есть изображение Kafka Connect (вместе с другими) в https://hub.docker.com/r/confluentinc/

Есть ли журнал, в котором я могу убедиться, что соединение прошло нормально.

Рабочий Kafka Connect по умолчанию записывает журналы в стандартный вывод, которые можно просматривать через журналы докера. В этой статье приведен пример работы с Kafka Connect и JDBC-коннектором

Это вопросы в моей голове, и я застрял. Буду очень признателен за любую помощь или указатель.

Kafka Connect - это то место, где вам нужно искать. Он может выступать как источником (получать данные в Kafka), так и стоком (получать данные из Kafka в другое место). Эта серия статей может помочь:

Также этот доклад показывает это в действии: https://www.youtube.com/watch?v=RJtEacDX4Oc

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...