Проверка проста. Вы все еще используете все объекты, на которые у вас есть ссылки.
Распространенная проблема с «утечками памяти» - добавление объектов в коллекции и забывание очищать их, когда они больше не нужны. Чтобы обойти эту проблему, используйте WeakReferences или коллекцию, которая использует их, например. WeakHashMap. Они очищаются, когда больше нет ссылки в другом месте.
ИМХО, диспетчер задач Windows скорее запутает, чем поможет. ;)
Использование VIsualVM или коммерческого профилировщика памяти, такого как YourKit, - лучший способ проверить потребление памяти.