Методология производственного уровня для оповещений

Question

Фон

Наш код записан с:

1. Модульные тесты
2. Сквозные тесты
3. Код обзор
4. Процесс подготовки
5. Процесс развертывания

Напротив, наши предупреждения просто записываются, а затем время от времени изменяются вручную. Нет качественного процесса вообще.

Этот процесс оправдан для простых проверок пороговых значений. Однако наши оповещения иногда строятся на сложных запросах. Иногда составленный из ~ 20 строк запроса.

Если мы случайно отключим оповещение, это может подвергнуть нас нестабильности работы, поскольку мы не будем знать, сломался ли какой-либо лог c или компонента.

Вопрос

Существует ли рекомендуемая методология проверки качества сложных оповещений?

PS

Мы используем оповещения Splunk

Answer 1

В Splunk нет документированной практики проверки оповещений, если это то, что вы ищете. Я предлагаю вам следовать практике, аналогичной той, которую вы используете для кода. Модульное тестирование невозможно, но вы можете протестировать измененные оповещения в непроизводственной системе, используя либо выборку производственных данных, либо синтезированные данные.