Среда развертывания Kafka и Kafka Connect

Question

если у меня уже работает Kafka в локальной сети, Kafka Connect - это просто конфигурация поверх моей существующей Kafka, или для Kafka Connect требуется собственный сервер / среда, отдельная от моей существующей Kafka?

Answer 1

Kafka Connect является частью Apache Kafka, но работает как отдельный процесс, называемый Kafka Connect Worker .За исключением среды с песочницей, вы обычно развертываете ее на отдельном компьютере / узле от ваших брокеров Kafka.

Эта диаграмма концептуально показывает, как она работает, отдельно от ваших брокеров:

Вы можете запустить Kafka Connect на одном узле,или как часть кластера (для пропускной способности и избыточности).

Подробнее о установке и настройке и архитектуры Kafka Connect .

вы можете прочитать здесь.

Answer 2

Kafka Connect - это его собственная конфигурация поверх вашей bootstrap-server конфигурации.

Для Kafka Connect вы можете выбирать между автономным сервером или серверами распределенного подключения, и вам придется обновить соответствующий файл свойств, чтобы он указывал на ваши в настоящий момент работающие серверы Kafka.

Посмотрите под {kafka-root}/config, и вы увидите

В основном вы будете обновлять свойства автономного подключения или распределенного подключения в зависимости от ваших потребностей.