Я не уверен, почему атрибут не удаляется, применима ли функция .removeAttr () для "style"?
Во всяком случае, я всегда подхожу к этому по-другому. Использовал код вашего jsFiddle, он работает так
var t = true;
setInterval(function(){
t = !t;
if(t){
$('#s').css({color: 'rgb(255, 0, 0)'});
} else {
$('#s').attr('style', '');
}
}, 1000);
Все, что я изменил, в основном это строка
$('#s').attr('style', '');
, где я просто установил значение атрибута стиля в ''