Запуск нескольких коннекторов в Kafka Connect с одним распределенным рабочим? - PullRequest
Новая
       13

Запуск нескольких коннекторов в Kafka Connect с одним распределенным рабочим?

0 голосов
/ 28 ноября 2018

Как запустить несколько коннекторов Kafka в мире Kafka Connect в пределах одного распределенного работника (работающего на 3 разных серверах)?

Сейчас мне нужны 4 коннектора Kafka вэтот распределенный рабочий (тот же group.id).

В настоящее время я добавляю по одному соединителю за раз, используя следующую команду curl. 

curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'

Проблема:

  • Для каждого нового соединителя, который я добавляю, предыдущий / существующий соединитель (и) перезапускается вместе с новым соединителем.

Вопрос:

  • Как мне запустить / создать все эти новые соединители одним вызовом REST в распределенном рабочем режиме?
  • Есть ли способ получить все конфигурации соединителей в одном вызове REST, как массив конфигов соединителей?

Я пытался искать то же самое, но не нашел обходного пути для этого.

Спасибо.

1 Ответ

0 голосов
/ 28 ноября 2018

Для каждого добавляемого мной нового соединителя предыдущий / существующий соединитель (и) перезапускается вместе с новым соединителем.

Да, это текущее поведение Kafka Connect.Для дальнейшего обсуждения см .:

Как мне начать / создать все эти новые соединители с однимВызов REST в распределенном рабочем режиме?Есть ли способ получить все коннекторы коннектора в одном вызове REST, например массив конфигов коннектора?

Вы не можете сделать это за один вызов REST

Если вы хотите изолировать ваши соединители друг от друга при создании / обновлении, вы можете просто запустить несколько распределенных кластеров.

Таким образом, вместо 1 распределенного кластера Connect с 3 соединителями у вас может быть по 3 распределенных кластера Connect каждый.работает 1 разъем.

Помните, что на практике «распределенный кластер» может состоять только из одного узла и действительно может работать на одной машине.Вы бы повысили гибкость и пропускную способность.

...