Не двигайте пальцем, пока он нажат на кнопку. Если вы вообще двигаете пальцем, просмотр прокрутки отменит касания, отправленные на кнопку, и обработает их сам. Это должно быть сделано для того, чтобы вы могли прокручивать, касаясь любого места в окне прокрутки, а не только пустого места.