Ваш файл web.config должен находиться в корневом каталоге приложения. Если ваше приложение использует несколько виртуальных каталогов (т.е. вложенных виртуальных каталогов), то IIS также будет считывать любые файлы web.config, если они находятся в корнях этих виртуальных каталогов.
Помните, что схема файла конфигурации .NET также позволяет помещать другие файлы конфигурации в другое место и включать их в основной файл конфигурации при запуске приложения, что дает вам больше гибкости.