20 МБ довольно хорошо! Рассмотрим все библиотеки и управляемые ресурсы, которые необходимо задействовать для работы практически любого приложения .NET заметного размера.
Если вы дойдете до точки, где вы можете указать на объем памяти, используемый вашим приложением, и с уверенностью сказать, что это действительно вызывает любую проблему, с которой вы столкнулись, то соберите некоторые детали. Используйте что-то вроде Red Gate , чтобы профилировать ваше приложение и увидеть, где находятся проблемы с памятью и узкие места. Попытка угадать заранее никогда не работает.
И, кроме того, сколько памяти имеет ваш сервер? 2gb? 4ГБ? Конечно, мы всегда должны проявлять должную осмотрительность, чтобы убедиться, что наши приложения не боровы, но в то же время - воспользоваться передышкой, которую нам предоставили современные вычисления!