Ничего с оповещением - может быть расширение или вы можете создать его для оповещения, но лучшее, что вы можете сделать, это отключить пулы агентов по следующему адресу:
https://[my].visualstudio.com/_settings/agentpools
Это не позволит агентам сборок ставить в очередь новые сборки в конвейере, пока вы не включите их заново.