Могу ли я подключить несколько конфигураций приемника с помощью одного Kafka Connect?

Question

Я следовал по этой ссылке для настройки Cassandra Sink с Kafka Connect.

В блоге мы сначала запускаем Kafka Connect. Затем мы публикуем наши конфигурации CassandraSink в Kafka Connect.

java -jar kafka-connect-cli-0.5-all.jar create cassandra-sink-orders < cassandra-sink-distributed-orders.properties

Разъем cassandra-sink-orders:

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=orders-topic
connect.cassandra.export.route.query=INSERT INTO orders SELECT * FROM orders-topic
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=demo
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

Теперь я хочу присоединить разные конфигурации к одному и тому же Kafka Connect. Когда я это делаю, предыдущий WorkerSink отсоединяется. Есть ли способ, чтобы оба они могли работать параллельно с одним Kafka Connect. Или мне нужно запустить другой Kafka Connect на каком-то другом порту и присоединить к нему новые конфигурации?

Какая лучшая практика?

Answer 1

Вы можете запустить:

1. Kafka Connect в распределенном режиме и запустить несколько соединителей.Это справедливо для развертывания одного узла и имеет преимущество, заключающееся в простоте масштабирования: вы просто добавляете больше узлов, а Kafka Connect управляет распределением рабочей нагрузки.Используйте REST API для управления конфигурацией Kafka Connect, , как показано здесь и , задокументировано здесь .

2. Kafka Connect в автономный режим , и передайте серию конфигураций соединителей в качестве аргументов командной строки .