Просто намного проще управлять и обновлять настройки.
Если вы используете Notepad для разработки и выкладываете код на сервер, я согласен, что выгода от этого невелика, но если вы используете Visual Studio и build ваш сайт и публикуйте его, вы публикуете предварительно скомпилированные dll, а не просто обновляете текстовый исходный код (файлы .cs или .vb) на сервере. Поэтому, когда приходит время обновить настройку в этот момент, все в файле web.config можно обновить, просто изменив текстовый файл, при этом, как и в случае других изменений, вам придется перекомпилировать весь веб-сайт и опубликовать его.
И, исходя из опыта, это становится непросто, когда мы вступаем во владение другими разработчиками, которые не заботятся о том, чтобы все, что нужно для работы веб-сайта, находилось под контролем исходного кода. Теперь я застрял на веб-сайте, на котором мы не можем обновлять огромные куски из-за (любезно говоря) нестандартных практик в прошлом.
Возможность обновить что-либо без повторной публикации сайта - огромное благословение в моей ситуации, и вы никогда не знаете, кто будет плохим программистом, который возьмет на себя ваш код.
Будьте добры к нему или ей. Упростите внесение простых изменений.