Да, это возможно. Распространенным источником проблем являются таймеры, которые, если их не утилизировать, будут хранить ссылку на ваш обратный вызов и поддерживать ваш класс, который реализует обратный вызов, и все связанные данные вечно.
Помимо неуправляемых объектов, другим очень распространенным источником являются регистрации событий, которыене регистрируются в методе dispose, если не используется шаблон слабого события. Управлять этим может быть довольно обременительно, поэтому WPF полностью полагается на слабые события, чтобы обойти проблему на всю жизнь. WPF Windows не имеет метода удаления. Время жизни полностью управляется сборщиком мусора.
Если вы работаете с WinForms с другой стороны, вы быстро заметите, что произойдет, если вы забудете вызвать Dispose в некоторых окнах ...