Похоже, проблема в том, что вы используете ярлык со всеми четырьмя углами в одном определении, когда вам нужно определить их отдельно
Попробуйте это:
$('img').hover(function(){
$(this).animate({
"MozBorderRadiusTopleft": '50px',
"MozBorderRadiusTopright": '50px'
}, 900);
},function(){
$(this).animate({
"MozBorderRadiusTopleft": '25px',
"MozBorderRadiusTopright": '25px'
}, 900);
});