Я предполагаю, что вы пытаетесь закрыть поповер RootViewController в портретной ориентации, потому что в альбомной ориентации это не имеет смысла.
Вы можете сделать это так:
1) обработчик кнопки отмены:
-(void)cancelAction {
[self.detailViewController.popoverController dismissPopoverAnimated:YES];
}
2) popoverController является частным в detailViewController, поэтому вы должны сделать его общедоступным (или добавить метод в detailview, который будет иметь доступ к свойству popoverController и вызвать этот метод из метода cancelAction в RootViewController):
2.1) удалить
@property (nonatomic, retain) UIPopoverController *popoverController;
от
@interface DetailViewController ()
...
@end
2.2) добавить
@property (nonatomic, retain) UIPopoverController *popoverController;
внутри
@interface DetailViewController : UIViewController