Если я правильно помню, скрытые объекты не будут получать прикосновения. Я не знаю, применимо ли это, если это просто непрозрачность, установленная на ноль, но попробуйте посмотреть, что произойдет, если вы сделаете это только до 0,01f вместо всего до 0.
Кстати, я не знаю, опечатка это или нет, но вы устанавливаете anim.fromValue
дважды, а вы не устанавливаете anim.toValue
.