После выполнения
apt-get install libgstrtspserver-0.10-dev
команда
pkg-config --libs gstreamer-rtsp-0.10
возвращает
-pthread -lgstrtsp-0.10 -lgstreamer-0.10 -lgstsdp-0.10 -lgobject-2.0 -lgmodule-2.0 -lgthread-2.0 -lxml2 -lglib-2.0
Но
ls /usr/lib/libgstrtsp*
возвращает
/usr/lib/libgstrtspserver-0.10.so
/usr/lib/libgstrtspserver-0.10.so.0.0.0
/usr/lib/libgstrtspserver-0.10.so.0
Итак, замена флага -lgstrtsp-0.10 на -lgstrtspserver-0.10 решила эту проблему для меня.