Не думаю, что вы сможете настроить просмотр каталогов для работы с ASP.NET MVC в одном приложении. Когда вы добавили сопоставление с подстановочными знаками, вы сказали ASP обрабатывать каждый запрос. Если запрос не сопоставлен с реальным файлом, он попытается сопоставить маршрут в MVC. Если не найден соответствующий контроллер с индексным действием (при условии, что это действие по умолчанию), он завершится неудачей.
Я предлагаю разделить ваш веб-сайт на «приложение» и «контент». Настройте приложение в качестве отдельного веб-сайта и примените там подстановочный знак. Оставьте свой контент с оригинальной конфигурацией. Я больше не использую IIS5 - за одним исключением на старой версии для разработки под XP - боюсь, что на самом деле больше не поможет.
Но на вашем месте я бы обновился до более новой ОС и веб-сервера. Ожидать, что новые технологии будут работать на десятилетней платформе, очень оптимистично.