Прежде всего, на какой платформе вы работаете?
Вы можете использовать Live555 только для целей RTSP / RTP. Однако Live555 не содержит никаких декодеров и т. Д.
VLC использует Live555 для RTSP AFAIK, но также содержит множество других плагинов, декодеров, демультиплексоров и т. Д.
Вам по-прежнему нужна среда мультимедиа для обработки декодирования, демультиплексирования, рендеринга и т. Д. Для конкретного формата мультимедиа. В Windows это можно сделать с помощью DirectShow. В этом сценарии вы можете обернуть live555 в исходный фильтр DirectShow и создать медиа-конвейер. Чтобы получить видео для отображения в вашем приложении Qt, вам необходимо выяснить, каким образом вы добавили бы окно DirectShow Video Renderer в ваше приложение Qt.
Другой кроссплатформенный медиа-фреймворк, с которым я не знаком, это gstreamer .
Edit:
Вы смотрели на Qt Phonon вообще? Похоже, что они начали интегрировать мультимедиа в платформу, хотя вам придется выяснить, поддерживают ли они RTSP, а если нет, как получить медиаданные, полученные через Live555, в медиапровод Qt.