Я уже некоторое время использую Kafka Connect
в своей рабочей настройке, и она прекрасно работает.
Недавно я подумал о том, чтобы побороться с несколькими собственными коннекторами в моем docker основанном кафке-cluser с одним брокером. (Ubuntu: 18.04 с установленным kafka) и отдельный узел, выступающий в качестве клиента для развертывания приложений коннектора к узлу client ( без посредника, только установка vanilla kafka ), я устанавливаю путь к классу, чтобы он указывал на мои библиотеки коннекторов. Также переменная окружения KAFKA_LOG4J_OPTS
, указывающая на местоположение файла журнала для генерации с включенным режимом отладки.
Так что каждый раз, когда я запускаю работника kafka, используя команду:
nohup / opt // bin / connect-distribution /opt//config/connect-distributed.properties> / dev / null 2> & 1 &
соединитель начинает работать, но я не вижу, как создается файл журнала , Я перепробовал несколько изменений, но ничего не получилось.
ВОПРОСЫ:
- Означает ли это, что подключен-распределен. sh не генерирует файл журнала после прочтения переменной
KAFKA_LOG4J_OPTS
? и если да, может кто-нибудь объяснить, как?
NOTE :
(Я уже отладил скрипт connect-distribution. sh script и попробовал варианты, где режим демона включен и не включен, по умолчанию, если KAFKA_LOG4J_OPTS
не предоставлен, он использует файл connect-log4j.properties
в каталоге конфигурации, но даже тогда файл журнала не генерируется).
НАБЛЮДЕНИЕ :
Только когда я запускаю zookeeper / broker на клиентском узле, тогда выбирается значение KAFKA_LOG4J_OPTS
, и журналы начинают генерироваться, но ничего не связано с соединителем Kafka. Я уже проверил соединение ч / б клиента и брокера, используя kafkacat
Интересная часть: Тот же процесс, которым я следую в своей рабочей области, и журналы начинают генерироваться каждый раз, когда рабочий (connnect-distributed.sh
) запускается, но я не «копировал поведение в моей собственной установке). И я понятия не имею, что мне здесь не хватает. Может ли кто-нибудь представить какое-то рассуждение, это действительно сводит меня с ума.