Для преобразований RTSP <-> WebRTC / RTMP <-> WebRTC вам необходимо запустить какое-то программное обеспечение шлюза / медиасервера WebRTC, которое работает со всеми этими форматами / протоколами и может передавать данные между ними.Попробуйте Wowza / Unreal Media Server / Flashphoner.https://en.wikipedia.org/wiki/Comparison_of_streaming_media_systems
Таким образом, в вашем случае вы хотите опубликовать экран из браузера на медиа-сервер через WebRTC (кодек H264 является обязательным), а затем перенаправить поток RTMP с медиа-сервера на сервер nginx с помощью модуля nginx-rtmp.
Обратите внимание, что возможно и обратное: вы можете отправить поток на медиа-сервер через RTMP (например, снимок экрана OBS), а затем отправить этот поток с медиа-сервера на веб-браузер (-ы) через WebRTC.
Основная проблема в этих преобразованиях - совместимость кодеков: H264 должен использоваться для видео, но если вам нужно аудио, вам придется выполнить перекодирование Opus в AAC.