В соответствии со стандартом SIP нет ограничений на использование сервера SIP.
Сервер используется, потому что нам не нужно запоминать местоположение (IP-порт) всех пользователей SIP.
Когда пользователь регистрируется на сервере, сервер заботится о местонахождении пользователя.
(Сервер предоставляет так много других функций, но это описание легко игнорировать)
Но в вашем случае, поскольку вы знаете IP-адрес другого пользователя, сервер не нужен.
Просто убедитесь, что используемый вами стек SIP позволяет отправлять сообщение INVITE без регистрации. Поскольку некоторые стеки ограничивают клиента для отправки INVITE без успешной регистрации.