Есть два способа справиться с этим.
1) Обнаружение касаний в вашем контроллере вида, а не в виде.Вы должны быть в состоянии определить, какой вид содержит точку, к которой вы прикоснулись, и из этого можно решить, что делать с прикосновением (или просто выбросить его, если его не было ни в одном из представлений).
2)Создайте подкласс UIView и добавьте их в свой основной вид вместо просто UIViews.Затем вы можете обнаружить прикосновения внутри вашего подкласса и соответственно с ними справиться.
Надеюсь, это поможет.