UDP и TCP могут маршрутизироваться по-разному, в частности, при наличии HTTP-прокси.
Кроме того, сервер сигнализации будет знать некоторый адрес клиента, но не будет знатьпорт, который будет приводить к соединению, так как для этого требуется UDP дырокол.