Метод Input.GetButtonDown проверяет, нажата ли кнопка.Кажется, вы предполагали, что это говорит программе действовать, как будто нажата кнопка, а это не так.
Я думаю, что более фундаментальным аспектом является то, почему вы пытаетесь эмулировать клик?Конечно, было бы проще получить информацию о положении жеста и действовать соответственно?