Самый простой способ - назначить идентификатор элементу источника:
<audio controls="controls">
<source id="src1" src="/Tools/LoadAudioWav/@ViewBag.FilePath" type="audio/ogg" />
<source id="src2"src="/Tools/LoadAudioMp3/@ViewBag.FilePath" type="audio/mpeg" />
</audio>
Тогда из Jquery
var p2 = document.getElementById('src1');
var source = p2.src; //to get the value
p2.src = "/Tools/LoadAudio?id=aud3" // to assign a value