Это исключение может иметь более одной причины. Маловероятно, что Visual Studio фактически не хватает памяти, системе может не хватать ресурсов. Куча рабочего стола - одна из них. Простая перезагрузка исправит это.
Если это повторяется, используйте Taskmgr.exe, чтобы попытаться найти процессы, которые занимают ресурсы. Просмотр + Выбор столбцов, отметка маркеров, объектов USER и объектов GDI. Если это Explorer, то у вас неправильно работает обработчик расширения оболочки.