На странице GitHub пакета есть простой пример Скрытие Flash-сообщения
Из документа
Напишите простой фрагмент JavaScript. Например, используя jQuery, вы можете добавить следующий фрагмент непосредственно перед закрывающим тегом.
<script>
$('div.alert').not('.alert-important').delay(3000).fadeOut(350);
</script>
При этом будут обнаружены любые предупреждения, кроме важных, которые должны оставаться до тех пор, пока пользователь не закроет их вручную, подождать три секунды, а затем исчезнуть.
Так что для вашего случая вам просто нужно нацелиться только на конкретный важный класс
как:
(если вы используете jQuery)
$('.alert-important').delay(3000).fadeOut(350);