Сборщик мусора собирает только объекты, на которые больше нет ссылок в вашем приложении. Сборщик мусора не будет никогда собирать любые используемые объекты.
Определение «используемого» сборщика мусора основано на корнях. Экземпляр объекта имеет корни, если другие экземпляры объекта в AppDomain ссылаются на него. Пока AppDomain, на котором размещено ваше приложение, не выгружен, все экземпляры объектов, которые были в памяти, будут оставаться в памяти, пока они сохраняют корни в приложении.