Странно, в отличие от вас, у меня это работает в FF4 на Windows без загруженных расширений.
Может, проблема в другом?
В любом случае, если вы готовы к принудительной перезагрузке, добавление постоянно меняющегося параметра в URL изображения должно всегда работать:
$('#animatedGif').attr('src', srcToGif+"?"+new Date().getTime());
Редактировать: Вот JSFiddle: http://jsfiddle.net/jvqQY/1/
Попробуйте сбросить первое изображение: вы увидите, что оба изображения сброшены. Это доказывает, что состояние анимации, похоже, кэшируется для всего ресурса , а не только для конкретного элемента изображения. Это странно!