Вам нужно будет использовать шаблон для проверки состояния оповещения (независимо от того, сработало оно или разрешено), а затем на основе этого установить содержание сообщения условно.
Например, заголовокполе моих предупреждений устанавливается следующим образом:
{{ define "templatenamehere.title" }}
{{- .Status | title }}
{{- if eq .Status "firing" }} {{ .Alerts.Firing | len }}{{ else }} {{ .Alerts.Resolved | len }}{{ end }}
{{- printf " - " }}
{{- if gt (len .Alerts.Firing) 1 }}
{{- .CommonLabels.alertname }}
{{- else }}
{{- .CommonAnnotations.summary }}
{{- end }}
{{- end }}