GC освободит память, финализаторы освободят собственные ресурсы. Единственный способ обеспечить выполнение этих процессов - убедиться, что объекты, которые вам больше не нужны, не имеют ссылок.
Поток не имеет собственной памяти / ресурсов, кроме своего стека, который будет очищен при закрытии потока соединением (если только у вас не возникнет проблем с дублирующими дескрипторами собственных потоков: в этом случае, когда последний ручка закрыта).