Может быть, нет проблем. Память не освобождается мгновенно в Java. Вместо этого память освобождается при запуске сборки мусора. Если нет ссылок, идущих от корневого объекта GC к объекту, сборщик мусора будет собирать его. Так что может быть так, что сборка мусора еще не запущена.
Другая возможность - утечка памяти. В этом случае у вас есть объект, ссылающийся на Activity, который еще не готов выйти из области видимости. Распространенными причинами являются наблюдаемые подписки, потоки, статические переменные и нестатические внутренние классы, передаваемые чему-то, что остается резидентным (например, сама структура).