Здесь у вас есть хороший учебник с распознавателями жестов. Для зажима используйте UIPinchGestureRecognizer после подключения, вы можете легко получить масштаб зажима. В вашем случае не используйте аффинное преобразование для масштабирования, потому что это приведет к размытию кнопки. Вместо этого вы должны рассчитать кадр кнопки вручную. Это сложнее, но результат должен быть именно тем, что вы хотите.