RTSP на самом деле имеет дело только с настройкой, приостановкой, возобновлением и остановкой потока. Эта пропускная способность обычно крошечная по сравнению со средой (которая передается по протоколу RTP).
Так что нет, удаление RTSP из смеси вам не поможет.