Да, у меня тоже проблемы с этим. Кажется, дайджест-аутентификация отсутствует. Есть несколько комментариев в списке рассылки о его добавлении. См. http://web.archiveorange.com/archive/v/yR2T4nBtThzJs27hqDLb, но ничего окончательного.
Обратите внимание, что базовая аутентификация HTTP передается в строке URL, как в вашем примере, но дайджест кодируется в формате md5 и передается как отдельный элемент в запросе HTTP.
также библиотека http://www.live555.com/ поддерживает http / digest аутентификацию, я тестировал, она работает.
для проверки связности используйте testProgs в live555
live/testProgs/openRTSP -4 -u admin admin -w 1280 -h 720 -f 20 rtsp://192.168.0.2/defaultPrimary?streamType=u > testmovie.mp4