Ситуация такая.
Некоторые мои стоковые, которые подключены к Kafka, очень чувствительны к нагрузке. Это БД, которые действительно любят быть перегруженными.
Я хотел бы динамически устанавливать значения квот для некоторых тем в зависимости от общей нагрузки на эти приемники. Я загружаю данные в БД с помощью Kafka Connect и самодельного приложения для потоковой передачи на основе KStreams.
Я знаю, что не могу установить квоту на topi c, но на client.id. В любом случае, в конце я предпочитаю контролировать бетонные поверхности c (s).
Особенно позже я предпочитаю иметь инструмент (возможно, самопрограммируемый), чтобы закрыть обратную связь l oop от нагрузки на раковину в квоты kafka.
Еще более сложный вопрос заключается в том, что при использовании потоков client.id расширяется постфиксом, например
StreamThread-1-consumer-f1835e80-e8ae-428a-a40e-2a44aab0e9ae
У меня есть доступ администратора к темам, поэтому я могу "нюхать" все сообщения. Возникает вопрос:
Как получить client.id сообщения в определенных топах c, не спрашивая разработчиков, что они реализовали или изменили ли что-то, связанное с client.id?
Заранее спасибо!