Да, именно поэтому вы не используете финализаторы (ну, одна из многих причин).
Для этой цели создана справочная коллекция. Я посмотрю его и опубликую здесь через секунду, но я думаю, что это PhantomReference.
Да, PhantomReference :
Фантомные эталонные объекты, которые ставятся в очередь после того, как сборщик определит, что их референты могут быть возвращены в противном случае Фантомные ссылки чаще всего используются для более гибкого планирования предварительных действий по очистке, чем это возможно с механизмом финализации Java.