Да, реализуйте метод UIAlertViewDelegate alertView:didDismissWithButtonIndex:
и отклоните ваше представление там.
Сначала установите для делегата self:
...
UIAlertView *alertView = [[UIAlertView alloc] initWithTitle:@"Done!"
message:[@"It's all ok!"]
delegate:self
cancelButtonTitle:@"OK"
otherButtonTitles:nil];
...
Может выглядеть так:
- (void)alertView:(UIAlertView *)alertView didDismissWithButtonIndex:(NSInteger)buttonIndex
{
if (buttonIndex == [alertView cancelButtonIndex]) {
[self dismissModalViewControllerAnimated:YES];
}
}