kafka connect в распределенном режиме не генерирует логи, указанные в свойствах log4j - PullRequest
0 голосов
/ 03 февраля 2020

Я уже некоторое время использую Kafka Connect в своей рабочей настройке, и она прекрасно работает.
Недавно я подумал о том, чтобы побороться с несколькими собственными коннекторами в моем docker основанном кафке-cluser с одним брокером. (Ubuntu: 18.04 с установленным kafka) и отдельный узел, выступающий в качестве клиента для развертывания приложений коннектора к узлу client ( без посредника, только установка vanilla kafka ), я устанавливаю путь к классу, чтобы он указывал на мои библиотеки коннекторов. Также переменная окружения KAFKA_LOG4J_OPTS, указывающая на местоположение файла журнала для генерации с включенным режимом отладки.
Так что каждый раз, когда я запускаю работника kafka, используя команду:

nohup / opt // bin / connect-distribution /opt//config/connect-distributed.properties> / dev / null 2> & 1 &

соединитель начинает работать, но я не вижу, как создается файл журнала , Я перепробовал несколько изменений, но ничего не получилось.

ВОПРОСЫ:

  • Означает ли это, что подключен-распределен. sh не генерирует файл журнала после прочтения переменной KAFKA_LOG4J_OPTS? и если да, может кто-нибудь объяснить, как?

NOTE :
(Я уже отладил скрипт connect-distribution. sh script и попробовал варианты, где режим демона включен и не включен, по умолчанию, если KAFKA_LOG4J_OPTS не предоставлен, он использует файл connect-log4j.properties в каталоге конфигурации, но даже тогда файл журнала не генерируется).

НАБЛЮДЕНИЕ :

Только когда я запускаю zookeeper / broker на клиентском узле, тогда выбирается значение KAFKA_LOG4J_OPTS, и журналы начинают генерироваться, но ничего не связано с соединителем Kafka. Я уже проверил соединение ч / б клиента и брокера, используя kafkacat

Интересная часть: Тот же процесс, которым я следую в своей рабочей области, и журналы начинают генерироваться каждый раз, когда рабочий (connnect-distributed.sh) запускается, но я не «копировал поведение в моей собственной установке). И я понятия не имею, что мне здесь не хватает. Может ли кто-нибудь представить какое-то рассуждение, это действительно сводит меня с ума.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...