Мы пытаемся настроить потребительские метрики kafka в Datadog.
Немного подробностей:
Наш брокер kafka находится в облаке (мультитенантно), поэтому он не может выставлять метрики, поэтому мыне ищем метрик брокера
У нас есть наш Java-клиент (Spring boot micro service), работающий на kubernetes cluser, который является темой для Kafka.
Что касается документации, мы понимаем, чтоможет получать данные о теме, задержке сообщений и т. д., т. е. о метриках потребителя, подключаясь к потребителю (клиенту kafka), и нам не нужно подключаться к брокеру kafka.
Мы пытаемся подключиться к нашему клиенту на кластере kube от агента datadog, которыйвыполняется в том же кластере.
Сведения о потребителе (хосте микро-службы) и сведения о теме предоставляются через файл config.yml.
при запуске агента Data Dog с вышеуказанной конфигурацией мы можемсм. соединение, установленное с потребителем, и затем разорванное соединение.
2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (client_async.py:234) | Bootstrapping cluster metadata from [('servicehost, 9091, 0)] 2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (conn.py:349) | [IPv4 ('IPAddress', 9091)]>: connecting to servicehost:9091 [('IPAddress', 9091) IPv4] 2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (conn.py:372) | [IPv4 ('IPAddress', 9091)]>: Connection complete. 2019-09-24 22:03:40 UTC | CORE | ERROR | (pkg/collector/python/datadog_agent.go:114 in LogMessage) | - | (conn.py:823) | [IPv4 ('IPAddress', 9091)]>: socket disconnected 2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (conn.py:710) | [IPv4 ('IPAddress', 9091)]>: Closing connection. KafkaConnectionError: socket disconnected 2019-09-24 22:03:40 UTC | CORE | ERROR | (pkg/collector/python/datadog_agent.go:114 in LogMessage) | - | (client_async.py:288) | Unable to bootstrap from [('servicehost', 9091, 0)]
Я думаю, что он пытается соединиться с брокером.Есть ли другой способ настроить только потребительские метрики без URL брокера?По сути, как нам сообщить агенту Datadog, что нам нужно подключаться только к клиенту kafka, а не к брокеру.
Есть ли какие-либо соглашения об именах для конфигурационного файла потребителя?любое конкретное место для файла, на который смотрит агент Datadog?
Пожалуйста, предложите?