Вы должны отключить гравитацию на твердом теле вашего персонажа во время восхождения, иначе гравитация всегда будет подавлять вашего персонажа.
Вы можете получить доступ к своему персонажу, как это:
playerRB = playerOBJ.GetComponent<Rigidbody2D>();
Вы можете изменить гравитацию до 0:
playerRB.gravityScale = 0;
и обратно на 1, когда вам нужно.
Например, отключайте гравитацию каждый раз, когда ваш персонаж попадает в коллайдер лестницы, и включайте гравитацию, когда вы нажимаете «A» или «D», чтобы ваш персонаж упал с лестницы.