Возможно, вы ошибаетесь в акселерометре и гироскопе. Акселерометр используется для расчета скорости вращения устройства. Как только он перестанет вращаться, значение акселерометра будет эквивалентно Vector3.zero. Тем не менее, гироскоп возвращает фактическое вращение устройства в зависимости от его исходного происхождения.
Вам нужно будет знать, как работает гироскоп в Unity, и нормализовать его значение от 0 до 1, потому что я считаю, что он выводит углы(От 0 до 360), и начните свое движение оттуда.
Вот хорошая отправная точка от Гироскоп документирования Unity