iPhone Читайте UIimage (кадры) из видео с помощью AVFoundation

Question

простите за мой английский) В поисках информации о считанных кадрах из видео с iPhone я нашел этот проект, http://www.codza.com/extracting-frames-from-movies-on-iphone/comment-page-1#comment-1116,, но я также где-то читал, что вы можете использовать AVFoundation для захвата кадров из видео для повышения производительности.

Но я не могу найти информацию о том, как я могу это сделать ...

Есть идеи?

Спасибо за чтение

Answer 1

Вы говорите об использовании вызовов для генерации того, что Apple называет миниатюрными изображениями из видео в определенное время.

Для MPMoviePlayerController (то, что iOS использует для хранения видео из файлаили другой источник), есть две команды для этого.Первый генерирует одну миниатюру (изображение) из фильма в определенный момент времени, а второй генерирует набор миниатюр для временного диапазона.

В этом примере изображение через 10 секунд получаетсямувиклип, myMovie.mp4 :

MPMoviePlayerController *movie = [[MPMoviePlayerController alloc]
        initWithContentURL:[NSURL URLWithString:@"myMovie.mp4"]];
UIImage *singleFrameImage = [movie thumbnailImageAtTime:10 
        timeOption:MPMovieTimeOptionExact];

Обратите внимание, что это выполняется синхронно - то есть пользователь будет вынужден ждать, пока вы получите скриншот.

Другойможно получить серию изображений из фильма из множества раз:

MPMoviePlayerController *movie = [[MPMoviePlayerController alloc]
        initWithContentURL [NSURL URLWithString:@"myMovie.mp4"]];
NSNumber time1 = 10;
NSNumber time2 = 11;
NSNumber time3 = 12;
NSArray *times = [NSArray arrayWithObjects:time1,time2,time3,nil];
[movie requestThumbnailImagesAtTimes:times timeOption:MPMovieTimeOptionExact];

Этот второй способ будет вызывать уведомление типа MPMoviePlayerThumbnailImageRequestDidFinishNotification каждый раз при создании нового изображения.Вы можете настроить наблюдателя для наблюдения за этим и обработки изображения - я оставлю вас работать над этим самостоятельно!

Answer 2

Вы также можете попробовать AVAssetImageGenerator , в частности, generateCGImagesAsynchronouslyForTimes: завершениеHandler .

Этот ответ SO содержит хороший пример кода.

Answer 3

Код Swift 2 для съемки кадров с помощью AVAssetImageGenerator:

func previewImageForLocalVideo(url:NSURL) -> UIImage?
{
    let asset = AVAsset(URL: url)
    let imageGenerator = AVAssetImageGenerator(asset: asset)
    imageGenerator.appliesPreferredTrackTransform = true

    var time = asset.duration
    //If possible - take not the first frame (it could be completely black or white on camara's videos)
    time.value = min(time.value, 2)

    do {
        let imageRef = try imageGenerator.copyCGImageAtTime(time, actualTime: nil)
        return UIImage(CGImage: imageRef)
    }
    catch let error as NSError
    {
        print("Image generation failed with error \(error)")
        return nil
    }
}

Answer 4

Вот код для получения изображений FPS из видео

1) Импорт

#import <Photos/Photos.h>

2) в viewDidLoad

    videoUrl = [NSURL fileURLWithPath:[[NSBundle mainBundle]pathForResource:@"VfE_html5" ofType:@"mp4"]];
    [self createImage:5]; // 5 is frame per second (FPS) you can change FPS as per your requirement.

3) Функции

-(void)createImage:(int)withFPS {
    AVURLAsset *asset = [[AVURLAsset alloc] initWithURL:videoUrl options:nil];
    AVAssetImageGenerator *generator = [[AVAssetImageGenerator alloc] initWithAsset:asset];
    generator.requestedTimeToleranceAfter =  kCMTimeZero;
    generator.requestedTimeToleranceBefore =  kCMTimeZero;

    for (Float64 i = 0; i < CMTimeGetSeconds(asset.duration) *  withFPS ; i++){
        @autoreleasepool {
            CMTime time = CMTimeMake(i, withFPS);
            NSError *err;
            CMTime actualTime;
            CGImageRef image = [generator copyCGImageAtTime:time actualTime:&actualTime error:&err];
            UIImage *generatedImage = [[UIImage alloc] initWithCGImage:image];
            [self savePhotoToAlbum: generatedImage]; // Saves the image on document directory and not memory
            CGImageRelease(image);
        }
    }
}

-(void)savePhotoToAlbum:(UIImage*)imageToSave {

    [[PHPhotoLibrary sharedPhotoLibrary] performChanges:^{
        PHAssetChangeRequest *changeRequest = [PHAssetChangeRequest creationRequestForAssetFromImage:imageToSave];
    } completionHandler:^(BOOL success, NSError *error) {
        if (success) {
            NSLog(@"sucess.");
        }
        else {
            NSLog(@"fail.");
        }
    }];
}

Answer 5

В Swift 4 это работало для меня с некоторыми модификациями, в основном меняя параметр «at» imageGenerator.copyCGImage на тип CMTime:

func showFrame(from file:String) {
    let file = file.components(separatedBy: ".")
    guard let path = Bundle.main.path(forResource: file[0], ofType:file[1]) else {
        debugPrint( "\(file.joined(separator: ".")) not found")
        return
    }
    let url = URL(fileURLWithPath: path)
    let image = previewImageForLocalVideo(url: url)
    let imgView = UIImageView(image: image)
    view.addSubview(imgView)
}    

func previewImageForLocalVideo(url:URL) -> UIImage? {
    let asset = AVAsset(url: url)
    let imageGenerator = AVAssetImageGenerator(asset: asset)
    imageGenerator.appliesPreferredTrackTransform = true
    let tVal = NSValue(time: CMTimeMake(12, 1)) as! CMTime
    do {
        let imageRef = try imageGenerator.copyCGImage(at: tVal, actualTime: nil)
        return UIImage(cgImage: imageRef)
    }
    catch let error as NSError
    {
        print("Image generation failed with error \(error)")
        return nil
    }
}

override func viewDidLoad() {
    super.viewDidLoad()
    showFrame(from:"video.mp4")
}

Источник