Наличие слишком большого количества проектов в вашем решении также является фактором, влияющим на производительность. У меня нет реальных доказательств этого, но по моему опыту, меньшее количество проектов означает лучшую производительность.
Если консолидация проектов невозможна, создайте альтернативный файл решения, чтобы вы могли добавлять только существующие проекты, которые имеют отношение к выполняемой вами работе.