Просто отсутствует свойство unmountOnExit .
<CSSTransition in={show} timeout={300} classNames="alert" unmountOnExit>
Рабочий пример (если вам не нравится нажатие кнопки под "модальным" при исчезновении, то, как и в другом примере, используйте два набора state
с onEnter
и onExited
свойства):