Confluent Control Center Connect база данных

Question

Когда я создаю соединитель источника или приемника с помощью Confluent Control Center, где он сохраняет настройки, связанные с этим соединителем? Есть ли файлы, которые я могу просмотреть? Мы планируем создать более 50 разъемов, и в какой-то момент нам нужно скопировать их из одной среды в другую, мне было интересно, есть ли простой способ сделать это.

Answer 1

Kafka Connect в распределенном режиме использует темы Kafka для хранения конфигурации.

Kafka Connect поддерживает REST API. Вы можете использовать это для просмотра существующей конфигурации разъема, создания новых (в том числе программно / автоматически для 50+ новых разъемов), запуска / остановки разъемов и т. Д.

API REST задокументировано здесь .

Answer 2

Распределенный режим Kafka Connect запускается с файлом свойств. Этот файл свойств определяет «тему конфигурации».

Однако разъемы, которые вы можете загрузить, там не хранятся - это только для работающих конфигураций источника / приемника.

Сами классы объединяются в файлы JAR в пути к классам отдельных рабочих Connect, и в Центре управления в настоящее время нет способа предоставления новых классов Connect. Другими словами, вы должны использовать что-то вроде Ansible или вручную подключиться к каждому работнику, скачать нужный тип подключения и извлечь его рядом с другими подключениями.

Например, давайте представим, что вам нужен разъем Syslog.

У вас уже есть папки для них в каталоге usr / share / java при установке Confluent

kafka-connect-hdfs 
kafka-connect-jdbc
... 

Итак, вы загружаете или собираете этот соединитель системного журнала, создаете папку kafka-connect-syslog и помещаете туда все необходимые библиотеки jar.

Как только вы сделаете это для всех экземпляров подключения, вам также потребуется перезапустить процесс Kafka Connect на этих машинах.

Как только Control Center снова подключится к серверу Connect, вы сможете настроить новые классы Connect