Действительно, это выбор дизайна. Это маленькое время нужно, чтобы отличить прокрутку (panGesture) от касания. Если вы устраните эту задержку, пользователь не сможет прокрутить его, если он поместит палец сверху кнопки, что не очень удобно для пользователя.
Поскольку представление прокрутки не имеет полос прокрутки, оно должно знать, сигнализирует ли касание о намерении прокручивать, а не о намерении отслеживать подпредставление в контенте. Чтобы сделать это определение, он временно перехватывает событие касания, запуская таймер и, прежде чем таймер сработает, наблюдает, делает ли касающийся палец какое-либо движение. Если таймер срабатывает без значительного изменения положения, представление прокрутки отправляет события отслеживания в затронутое подпредставление представления содержимого.
из документации UIScrollView
Я бы не рекомендовал отключать задержку, но если вы настаиваете, вы можете установить ее в конструкторе интерфейсов (выберите Scroll View и на правой панели прямо под «Bounces Zoom»), или используя этот код:
scrollView.delaysContentTouches = false