Я не проверял это сам, но у меня есть интуиция, что это будет как-то связано с обработчиком событий кнопки по умолчанию для mousedown.Возможно, вы захотите поэкспериментировать с событием .preventDefault()
внутри обработчика mousedown.
В качестве альтернативы, вы можете заключить кнопку в элемент div, который вы затем draggable()
.