Вам следует рассмотреть возможность использования TransformableNode и отключить scaleController, вращение контроллера и преобразование перевода:
val anchorNode = AnchorNode(anchor)
val node = TransformableNode(fragment.transformationSystem)
node.scaleController.isEnabled = false
node.rotationController.isEnabled = false
node.translationController.isEnabled = false
node.renderable = renderable
node.setParent(anchorNode)
fragment.arSceneView.scene.addChild(anchorNode)