Ничего с оповещением - может быть расширение или вы можете создать его для оповещения, но лучшее, что вы можете сделать, это отключить пулы агентов по следующему адресу:
https://[my].visualstudio.com/_settings/agentpools
![Agent Pools](https://i.stack.imgur.com/7CbIC.png)
Это не позволит агентам сборок ставить в очередь новые сборки в конвейере, пока вы не включите их заново.