Изменения в web.config всегда перезапускают ваше веб-приложение. Это не то же самое, что перезагружаемый пул приложений, но конкретный домен приложений выгружается и загружается снова.
Что касается app.config, вы можете внести в него все необходимые изменения, просто файл. Необходимость перезапуска приложения зависит от вашей логики, если вы только читаете app-config во время запуска или во время обычного выполнения программы.