Не думаю, что при сохранении ваших параметров в объекте HttpCache и Singleton будет заметна разница в производительности. В любом случае, вам нужно загрузить параметры при запуске приложения.
Преимущество использования HttpCache состоит в том, что он уже создан для обработки истечения срока действия и обновления, что, я полагаю, вы захотите. Если вы никогда не хотите обновить параметры, то я полагаю, вы могли бы использовать Singleton из-за простоты.
Преимущество создания собственного пользовательского класса в том, что вы можете получить статическую типизацию для ваших параметров, поскольку все, что вы извлекаете из HttpCache, будет object. Однако было бы тривиально создать собственную оболочку для HttpCache, которая будет возвращать строго типизированный объект.