Нет, распоряжайтесь сигналами внутренних ручек, которые должны быть сняты. Объект с Dispose фактически получает GC-d позже.
Если это IDisposable, вы должны попробовать использовать их в блоке using (), в соответствии с документацией, которая высвобождается автоматически после использования.
Вы можете форсировать сбор GC с помощью GC.Collect, но я не думаю, что эти объекты являются несвободным мусором, .NET лучше, чем этот.
Разве вы не можете создать мини-дамп и проверить, что застревает и почему?