Как отмечалось nobugs (еще раз спасибо), проблема действительно заключалась в используемых сторонних компонентах - Infragistics.
Как я узнаю позже, команда Infragistics решила хранить статические ссылки на все добавленные элементы управления в памяти, чтобы поддерживать такие (вторичные imho) эффекты, как изменения темы XP.
Действительно полезной по проблеме была эта статья , решение, предоставленное в ведьме, заменило сохраненные в памяти объекты WeakReferences, которые могут быть собраны GC.
К счастью, мы использовали более старую версию Infragistics, которая в этой статье и решение работали. Жаль, однако, что Infragistics не планирует исправлять эти ошибки, даже заявленные много лет назад.