Я реализую специальный SincConnector для платформы подключения kafka, которая будет грешить записи из тем kafka в настраиваемую систему. Все компоненты kafka connect размещаются локально. Пользовательский SincConnector упакован в файл jar и добавлен в плагины kafka connect.
Он работает для 1 топи c, но не работает для нескольких тем.
Версия Kafka - 1.1. 0
Свойства коннектора:
forcive.automatic.mapping = true
forcive.batch.max.documents = 100
forcive.cas.name = SAP_counters
forcive.fields.mapping =
forcive.ip = 192.168.100.78
forcive.library.name = SAP_counters
forcive.password = [hidden]
forcive.port = 26991
forcive.primary.key.behavior = Iterate
forcive.primary.key.fields = []
forcive.profile.name = SAP_counters
forcive.repository.connection.string =
forcive.repository.name =
forcive.user = root
topics = [counter_2_prepared_filtered, counter_1_prepared_filter, counter_3_prepared_filtered, counter_4_prepared_filtered]
connector.class = com.forcive.kafka.connect.sink.ForciveSinkConnector
header.converter = null
key.converter = null
name = 559e3dda-5d79-4d14-b767-1d41325b8b4c-0
tasks.max = 1
transforms = []
value.converter = null
SincConnector принимает данные только из первого топи c. Изменение количества задач tasks.max не помогает - создаются новые задачи, но все они привязаны к первому topi c и получают 0 записей, потому что каждый topi c имеет 1 раздел.
Согласно docs confluent platform должен отправлять данные из всех 4 тем в один и тот же экземпляр коннектора sin c.
То же самое происходит с JDB C sin c Connecotr - он принимает данные только из первого топи c из 4.
Понятия не имею, что делаю не так, если кто-нибудь подскажет, что проверить и исследовать, я буду очень рад.