Хорошо, мне удалось решить это.
Я просто создал mp4 альтернативу ogg, закодировал в base64 и добавил еще один тег источника с необработанными данными base64.
<audio controls="controls" autobuffer="autobuffer" autoplay="autoplay">
<source src="data:audio/mp4;base64,{my_base64_data_for_mp4}" />
<source src="data:audio/ogg;base64,{my_base64_data_for_ogg}" />
</audio>
Кажется, что пока работает без проблем.