Предполагая, что вы собираетесь использовать OS 4 и выше, самый простой способ - НЕ использовать UIView, а вместо этого добавить распознаватель жестов непосредственно в представление карты, например:
UIPanGestureRecognizer* gest = [[UIPanGestureRecognizer alloc] initWithTarget:self action:@selector(handlePanGesture:)];
[mapView addGestureRecognizer:gest];
...и тогда все жесты смахивания (в этом случае) будут переданы [self handlePanGesture: (UIPanGestureRecognizer *) x];
Если вы посмотрите в документах вокруг распознавателей жестов, есть широкий выбор вариантов, иВы можете добавить их к довольно тонкому уровню детализации (касание или смахивание, количество использованных пальцев и т. д.)