Всегда будет минимальный базовый объем памяти, необходимый для запуска даже самых основных приложений ASP.NET. Это связано с тем, что в рабочий процесс загружается не только ваше приложение, но и инфраструктура ASP.NET, CLR и различные виды сантехники (и независимо от того, какое резервирование памяти занимает управляемая куча).
Перестаньте беспокоиться об этом, пока не столкнетесь с реальными проблемами с памятью, такими как утечки. То, что вы видите, нормально.