Значения Web.config считываются в память один раз при запуске приложения и хранятся там до конца приложения. Таким образом, здесь нет никакой реальной разницы в производительности - нет дополнительного файлового ввода-вывода, постоянно читающего web.config.
Одно ключевое различие между этими двумя подходами происходит, когда вам нужно изменить значение одного из параметров конфигурации. Изменение значения в web.config относительно просто и может даже не требовать перезапуска приложение (зависит от того, как оно настроено).
Чтобы изменить значение константы, вам, конечно, нужно перекомпилировать и заново развернуть ваш код. Это не может быть тривиальным усилием.