Кафка Коннект разделенная регистрация - PullRequest
0 голосов
/ 06 сентября 2018

В настоящее время мы используем несколько пользовательских подключаемых модулей для нашего распределенного рабочего кластера kafka connect. Долгое время меня беспокоило то, что kafka connect записывает все журналы со всех развернутых коннекторов в один файл / поток. Это делает отладку абсолютным кошмаром. Есть ли способ, позволяющий kafka connect log регистрировать коннекторы в разных файлах / потоках?

Через connect-log4j.properties я могу разрешить журналу определенного класса другой файл / поток. Но это означает, что с каждым дополнительным разъемом я должен настроить connect-log4j.properties

Спасибо

1 Ответ

0 голосов
/ 07 сентября 2018

Kafka Connect в настоящее время не поддерживает это. Я согласен, что это не идеально.

Одним из вариантов будет разделение ваших разъемов и выделение выделенного рабочего кластера для каждого и, следовательно, отдельных файлов журнала.

Kafka Connect является частью Apache Kafka, так что вы можете поднять JIRA , чтобы обсудить это дальше и, возможно, внести его обратно через PR?


Изменить 12 апреля 2019 г .: См. https://cwiki.apache.org/confluence/display/KAFKA/KIP-449%3A+Add+connector+contexts+to+Connect+worker+logs

...