Вы очень близки к цели, но у вас есть некоторые проблемы с получением правильных идентификаторов.
Чтобы следовать по пути, замените скрипт на:
document.getElementById("mybutton").onclick =
function setHalfVolume() {
document.getElementById("myAudio").volume = 0.2;
};
Атрибут onclick кнопка должна быть изменена, а не атрибут аудио. И аудио DOM имеет атрибут громкости, который нужно изменить.
Еще одним подходом было бы непосредственное использование атрибута onclick для actionButton.
tags$script('
decrease = function(){ document.getElementById("myAudio").volume = 0.2;}
')
tags$audio(id = "myAudio", controls = NA, autoplay = NA, tags$source(src="sound.mp3")),
actionButton("lowerButton", "lower", onclick="decrease()")