То, что ничто больше не ссылается на объекты, не означает, что память будет восстановлена. Сборщик мусора будет запущен в будущем, и зачастую единственной гарантией, которую вы получаете, является то, что он будет запущен до того, как вы получите ошибку нехватки памяти.
Еще одна вещь, которая может произойти здесь, это то, что вы смотрите на использование памяти процессом Lisp. Когда память является CG, она обычно не возвращается в операционную систему. Вместо этого память просто помечается как свободная в куче и может использоваться в будущих распределениях памяти.