Не уверен, что это сработает с вашей проблемой, но вот что я сделал для одного из моих проектов.
Мы хотели иметь возможность манипулировать объектом при использовании гололинов и записывать, как мы перемещали этот объект,чтобы мы могли снова сыграть это на гололенахЯ использовал элементы списка Vector3 и записывал начальную позицию перед движением и конечную позицию (эти позиции были добавлены в список на OnManipulationStarted и OnManipulationCompleted. Вы также можете сохранить больше позиций, если хотите, сохранив ихот OnManipulationUpdated).Получив эти две позиции, я смог найти линейную интерполяцию между ними, используя Vector3.Lerp, который я вызывал в сопрограмме.
Надеюсь, это поможет, если вы все еще ищете решение.