Мне наконец-то удалось настроить Kafka Connect (используя Kerberos, SSL и ACL) и развернуть в среде Kubernetes. Казалось, что все работает хорошо, пока я не попробую поэкспериментировать с двумя работниками. Я сделал это, просто изменив коэффициент репликации в моем k8s-spe c на 2. Однако это, похоже, привело к неисправности моего разъема. Теперь каждый раз, когда я пытаюсь перезапустить мое k8s-развертывание, рабочий, кажется, запускается, но затем попадает в состояние, спамящее журнал:
[2020-04-20 13:49:02,882] INFO [Worker clientId=connect-1, groupId=orion_kafka_con] (Re-)joining group (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2020-04-20 13:49:02,894] INFO [Worker clientId=connect-1, groupId=orion_kafka_con] Successfully joined group with generation 22981593 (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2020-04-20 13:49:02,894] INFO Joined group and got assignment: Assignment{error=1, leader='connect-1-ac35d22d-73a7-4d56-a42d-7e5904a52303', leaderUrl='http://<host>:8083/', offset=228, connectorIds=[], taskIds=[]} (org.apache.kafka.connect.runtime.distributed.DistributedHerder)
Кажется, ошибка возникает независимо от того, сколько рабочих я работаю. Из журнала вы можете сказать, что, похоже, произошла ошибка (error = 1), но я не смог выяснить, на что это указывает. Я попытался решить проблему, сбросив внутренние темы (сократив время хранения до 1 с), но, похоже, это не имело никакого значения. Любые предложения о том, как решить эту проблему? Я ценю любую помощь, которую я могу получить. С уважением
edit : журналы выплескиваются из-за чего (?) REST-api перестает отвечать, что означает, что я не могу удалить запущенный соединитель. Включен DEBUG (с еще большим количеством журналов), но я не могу найти что-то не так. Нет ошибок, нет предупреждений. edit 2 : мне удалось это исправить, но не решить. После сброса внутренних тем kafka-connect (кажется, я не давал смене времени хранения достаточно времени, чтобы повлиять) проблема в конечном итоге ушла. Я понятия не имею, что вызвало у тебя проблему.