Я бы посмотрел на FFmpeg . Это наиболее широко используемая библиотека кодеков с открытым исходным кодом, которую можно скомпилировать для iPhone. Он поддерживает RTSP (в 2003 году Microsoft устарела для потоков MMS и большинство современных потоков mms: // на самом деле просто RTSP.
На самом деле вам не нужно переносить библиотеки C / C ++ в Cocoa, чтобы иметь возможность использовать их с Cocoa / Objective-C. Вы можете использовать библиотеки C напрямую и библиотеки C ++ с Objective-C ++ или с помощью оболочки C.
Или вы беспокоитесь о лицензии? Многие части FFmpeg являются LGPL и могут использоваться из проприетарных приложений.