Я создал тестовый проект со следующим выполненным кодом:
[[UIApplication sharedApplication] openURL:[NSURL URLWithString:@"http://www.youtube.com/watch?v=5ra01Bqef7A"]];
Запуск проекта в Simulator позволил воспроизвести проблему, с которой вы столкнулись: тестовое приложение запустило Safari, и оно просто открыло страницу видео на Youtube. Но когда я запустил тот же проект на iPhone, результат был другим: он запустил приложение Youtube и сразу же начал загружать / проигрывать видео в URL.
Причина того, что один и тот же код ведет себя по-разному, заключается в том, что в Simulator нет приложения Youtube, поэтому единственным обработчиком URL-адресов, доступным в его среде, является Safari. Так что все работает как надо, вы можете продолжить разработку своего приложения.
Кстати, вот очень хороший официальный пост на YouTube об интеграции его с приложениями для iPhone: API YouTube + iPhone = Крутые мобильные приложения