Вам не нужно беспокоиться о сохранении ссылки на первоначально зарегистрированного делегата, и вы не запустите «грязный пул памяти».
Когда вы вызываете "OnStuff - = new StuffEventHandler (this.Handle);" код удаления не сравнивает делегата, которого вы удаляете по ссылке: он проверяет равенство, сравнивая ссылки на целевой метод (ы), который вызовет делегат, и удаляет соответствующие делегаты из "OnStuff".
Кстати, «OnStuff» сам по себе является объектом делегата (ключевое слово события, которое, как я полагаю, содержится в вашем объявлении, просто ограничивает доступ делегата).