Хорошо, я нашел обходной путь для этого. Используя компонент a-frame-super-hands (пример с индексным лазером), я сократил масштаб контроллера:
<a-mixin id="controllers-right" oculus-touch-controls="hand: right" gltf-model="./Models/Hand.glb" scale="0.05 0.05 0.05"></a-mixin>
Затем я увеличил свою модель GLB, чтобы восстановить потерянный размер, поместив его, чтобы получить модель контроллера скрыта внутри моей модели gltf.