Вы должны назначить свойство name вашему распознавателю жестов.
tap.name = "myTapGesture"
А позже вы можете циклически переключаться между рекогнитурами и отключать только тот, который вам нужен.
for aRecognizer in view.gestureRecognizers {
if let name = aRecognizer.name {
if name == "myTapGesture" {
aRecognizer.isEnabled = false
}
}
}