Убедитесь, что в Machine.Config установлен параметр retail retail "= true":
<system.web>
<!--
<deployment
retail = "false" [true|false]
/>
-->
<deployment retail="true" />
</system.web>
Отладочный код занимает намного больше памяти, чем не отладочный, и компиляция в отдельные сборки, а не по одной на страницу, уменьшит накладные расходы памяти при загрузке сборки.
Убедитесь, что параметры памяти в пулах приложений установлены достаточно высоко, и вы также можете взглянуть на параметр ProcessModel MemoryLimit:
http://msdn.microsoft.com/en-us/library/7w2sway1(VS.71).aspx
И попробуйте использовать настройку 80% или 85%:
<processModel
memoryLimit="80"
/>