Попробуйте переместить источник OGG или WebM на вершину стека (т. Е. Сделать его первым).
В какой версии Firefox он не работает?
В современных браузерах вам нужно предоставлять только источники WebM и MP4, если только вы специально не ориентируетесь на более старые версии Firefox (я думаю, ниже версии 4).