У вас нет способа получить сообщение об ошибке.
flash[:error] = "Invalid username/password combination."
просто выводит необработанный текст.
flash[:error] = "<div class='error'>Invalid username/password
combination.</div>"
упаковывает его в контейнер.
тогда вы можете просто использовать jQuery, чтобы скрыть контейнер.
$(".error").fadeOut(2000);