Я очень плохо себя чувствую, когда дело доходит до физики прыжков, но я нашел эти ссылки, может быть, они помогут вам.
Скрипт Unity 2d Jumping
https://answers.unity.com/questions/710765/2d-c-jump-script-addforce-1.html
Я также хочу знать, какой прыжок выше. Вы заявили, что есть разница в высоте, когда вы прыгаете без движения, против, когда вы двигаетесь. Какой из двух прыжков выше? Вы действительно уверены, что один прыгает выше, чем другой, или это просто выглядит так, как будто он прыгает выше? Вы можете проверить это, поставив платформу для проверки, если вы можете это сделать.
Извините, я не могу мне больше помочь и могу только предполагать, что может вызвать проблему. Однако я бы порекомендовал, чтобы при перемещении вы умножали его на Time.DeltaTime. Это делает время движения основанным на кадре. Это сделает движение более плавным.