Сборщик мусора их не трогает. С одной стороны, это приятно, потому что вам не нужно беспокоиться о том, что это может повлиять на неуправляемый код. С другой стороны, если вы не очистите их самостоятельно, это утечка памяти.
Каждый раз, когда вы используете небезопасный код, который выделяет память, я бы обернул его в объект, который реализует IDisposable. Если сторонний класс еще не реализует IDisposable, я бы создал новый класс для инкапсуляции функциональности.