У вас должно быть одно соединение между двумя сторонами.
Таким образом, если у вас один сервер и много пользователей вокруг него, вам необходимо создать отдельное одноранговое соединение для каждой пары server <-> user , поэтому вам нужно иметь много объектов RTCPeerConnection на стороне сервера ,
Вот как на самом деле SFU (блок выборочной пересылки) архитектура для WebRTC работает