Да, если у вас есть только управляемые ресурсы, они будут очищены GC, когда происходит сборка мусора (и нет никаких живых ссылок, указывающих на них)
Но в этом случае зачем вам нужно реализовывать IDisposable для вашего типа? Я имею в виду, вы, кажется, считаете, что в вашем случае не избавление от вашего объекта не является большой проблемой, тогда почему кто-то распоряжается ими?
Следует также отметить, что при использовании Финализаторов существует штраф за производительность при сборке мусора: любой объект с финализатором будет проходить первый этап GC, что значительно снизит эффективность GC, если эти объекты недолговечны.
Во время первой сборки мусора, во время которой объект должен быть очищен, он не сможет выполнить финализатор. Объект будет считаться GC долгоживущим, даже если он уже должен быть очищен.