Ошибка Alertmanager: caller = notifier msg = "Ошибка отправки оповещения" err = "Неверный статус ответа 500 Внутренняя ошибка сервера" - PullRequest
Новая
       8

Ошибка Alertmanager: caller = notifier msg = "Ошибка отправки оповещения" err = "Неверный статус ответа 500 Внутренняя ошибка сервера"

0 голосов
/ 06 февраля 2019

Prometheus регистрирует ошибки с помощью неправильных обращений к URL-адресу API: 

Feb 06 13:38:54 ip-192-168-0-xxx.ec2.internal prometheus[27909]: level=error ts=2019-02-06T13:38:54.946934196Z caller=notifier.go:473 component=notifier alertmanager=http://192.168.22.105:4194/api/v1/alerts count=0 msg="Error sending alert" err="bad response status 500 Internal Server Error"
Feb 06 13:38:54 ip-192-168-0-xxx.ec2.internal prometheus[27909]: level=error ts=2019-02-06T13:38:54.946955868Z caller=notifier.go:473 component=notifier alertmanager=http://192.168.22.73:4194/api/v1/alerts count=0 msg="Error sending alert" err="bad response status 500 Internal Server Error"
Feb 06 13:38:54 ip-192-168-0-xxx.ec2.internal prometheus[27909]: level=error ts=2019-02-06T13:38:54.946975398Z caller=notifier.go:473 component=notifier alertmanager=http://192.168.22.87:4194/api/v1/alerts count=0 msg="Error sending alert" err="bad response status 500 Internal Server Error"

IP-адреса в каждой из этих ошибок на самом деле являются внутренними IP-адресами отслеживаемых узлов.Так что почему-то в прометее есть плохая конфигурация, которая вызывает это.Разве IP-адреса не должны быть IP-адресом alertmanager?

Может ли кто-нибудь указать мне, где я мог бы решить эту проблему в своей конфигурации Prometheus?

1 Ответ

0 голосов
/ 18 июля 2019

попробуйте вызвать API самостоятельно (то есть: делать вызовы, которые пытается совершить Прометей).проверьте журналы ошибок alertmanager.

alertmanager возвращает 500 Internal Server Error, поэтому что-то там не так.

Если вы открываете веб-браузер и пытаетесь загрузить http://192.168.22.105:4194/api/v1/alerts (или если вы делаете curl или wget с компьютера в вашей сети, который может достичь этих IP-адресов), вы должны получить ответ json со списком предупреждений.или, по крайней мере, пустой ответ с {"status":"success","data":[]}

IP-адреса в каждой из этих ошибок на самом деле являются внутренними IP-адресами отслеживаемых узлов.

Это неправильно.Прометей пытается отправить оповещения на эти IP-адреса.Таким образом, эти оповещения должны соответствовать экземплярам AlertManager.

Если AlertManager не работает на этих IP-адресах, поэтому он дает сбой.Прометей пытается вызвать API-интерфейс Alertmanager (/api/v1/alerts).

Для мониторинга этих узлов, Прометею требуется доступ к {IP}/metrics.

...