Если вы создаете классы с жизненным циклом не более, чем view - все нормально. В противном случае вам следует избегать этого.
Если вы используете такую структуру - убедитесь, что у вас нет ссылок на экземпляры внутреннего класса, когда представление не нужно. Тогда GC соберет все, и не будет утечек памяти.