Вы должны передать параметр "sout" в функцию libvlc_vlm_add_broadcast.В нем вы можете указать желаемый формат.Например:
const char *sout = "#transcode{vcodec=mjpg, vb=1600}:http{dst=127.0.0.1:8090/cam.mp4}";
libvlc_vlm_add_broadcast(mVLCInst, media_name, "dshow://", sout, 0, NULL, true, false);
dshow: // используется в Windows, для Linux вы используете v4l2: /// dev / videoX, где X - идентификатор камеры.