Когда вы просто нажимаете, представление прокрутки передает касания в его подпредставления. Но если вы начнете перетаскивать, представление прокрутки отправит сообщение touchchesCancelled в subview и обработает прикосновения самостоятельно. Проверьте методы в UIScrollViewDelegate - там, вероятно, есть что-то, что вы можете использовать.
В качестве альтернативы, UIScrollView имеет свойство canCancelContentTouches. Если вы отключите это, его подпредставления всегда будут получать прикосновения, но, конечно, прокрутка не будет прокручиваться.