добавьте еще одну переменную для отслеживания клика buttonClicked
ng-class="{active: (($index == selected) && !buttonClicked)}"
<button ng-click="buttonClicked=true">Disable class</button>
Согласно комментарию Satpal, вы можете добиться того же результата, установив $scope.selected = -1
ng-class="{active: $index == selected}"
<button ng-click="selected=-1">Disable class</button>