'joystickRot' будет возвращать нули, когда вы не нажимаете в любом другом направлении, поэтому ваше вращение сбрасывается, поэтому вы должны сначала проверить, что джойстик действительно используется, прежде чем применять значения к вашему вращению преобразования GameObjects.
Я не слишком знаком с системой джойстика, которую вы используете, но наверняка найдется способ проверить, используется ли джойстик или нет, и применять силу и вращения только тогда, когда он есть.
Кстати, у вас есть два объекта джойстика, но я думаю, что вам нужен только один.