Первый вопрос заключается в том, проходит ли аутентификация пользователя с помощью AD в основном приложении .net. Если не аутентифицирован (неверные учетные данные),
IMO приглашение - это поведение браузера. Когда проверка подлинности окна включена, анонимная отключена, эта проверка подлинности выполняется веб-сервером еще до того, как ваш код приложения будет получен, поэтому IIS выполняет проверку подлинности до того, как запрос передается в ASP.NET, поэтому запрос никогда не достигнет страницы с ошибкой.
Обходное решение, возможно, использует проверку подлинности с помощью форм с поставщиками AD. Ниже поток предоставляет примеры кода, но я не проверял, что:
.net Core Authentication
Если пользователь прошел аутентификацию и вы хотите выполнить авторизацию, вы можете нажать здесь для примера кода и, конечно, вы можете перенаправить пользователя на страницу ошибки, если авторизация не удалась.