Вы создаете экземпляр контролируемого игрока каждый раз, когда кто-то присоединяется к серверу.Если они имеют одинаковые компоненты контроллера, оба объекта будут реагировать на элементы управления.Создайте неуправляемый префаб игрока и заставьте его реагировать на сообщения, отправленные другими клиентами.
Если у вас есть компонент движения, отдельный от компонента контроллера, вы можете повторно использовать компонент движения на неуправляемом объекте.