Как вы можете создать CVPixelBuffer непосредственно из CIImage вместо UIImage в Swift? - PullRequest
Новая
       106

Как вы можете создать CVPixelBuffer непосредственно из CIImage вместо UIImage в Swift?

0 голосов
/ 24 января 2019

Я записываю отфильтрованное видео через камеру iPhone, и при преобразовании CIImage в UIImage в режиме реального времени во время записи происходит огромное увеличение загрузки ЦП. Моя буферная функция для создания CVPixelBuffer использует UIImage, что до сих пор требует от меня этого преобразования. Вместо этого я хотел бы создать буферную функцию, которая по возможности принимает CIImage, чтобы я мог пропустить преобразование из UIImage в CIImage. Я думаю, что это даст мне огромный прирост производительности при записи видео, так как между процессором и графическим процессором не будет никакой передачи.

Это то, что у меня есть сейчас. В моей функции captureOutput я создаю UIImage из CIImage, который является отфильтрованным изображением. Я создаю CVPixelBuffer из функции буфера, используя UIImage, и добавляю его в pixelBufferInput assetWriter: 

let imageUI = UIImage(ciImage: ciImage)

let filteredBuffer:CVPixelBuffer? = buffer(from: imageUI)

let success = self.assetWriterPixelBufferInput?.append(filteredBuffer!, withPresentationTime: self.currentSampleTime!)

Моя буферная функция, которая использует UIImage: 

func buffer(from image: UIImage) -> CVPixelBuffer? {
    let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary
    var pixelBuffer : CVPixelBuffer?
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.size.width), Int(image.size.height), kCVPixelFormatType_32ARGB, attrs, &pixelBuffer)

    guard (status == kCVReturnSuccess) else {
        return nil
    }

    CVPixelBufferLockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))
    let pixelData = CVPixelBufferGetBaseAddress(pixelBuffer!)

    let videoRecContext = CGContext(data: pixelData,
                            width: Int(image.size.width),
                            height: Int(image.size.height),
                            bitsPerComponent: 8,
                            bytesPerRow: videoRecBytesPerRow,
                            space: (MTLCaptureView?.colorSpace)!, // It's getting the current colorspace from a MTKView
                            bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue)

    videoRecContext?.translateBy(x: 0, y: image.size.height)
    videoRecContext?.scaleBy(x: 1.0, y: -1.0)

    UIGraphicsPushContext(videoRecContext!)
    image.draw(in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height))
    UIGraphicsPopContext()
    CVPixelBufferUnlockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))

    return pixelBuffer
}

Ответы [ 2 ]

0 голосов
/ 24 января 2019

Чтобы расширить ответ, который я получил от Роба Мейоффа, я покажу, что я изменил ниже:

В функции captureOutput я изменил свой код на: 

let filteredBuffer : CVPixelBuffer? = buffer(from: ciImage)

filterContext?.render(_:ciImage, to:filteredBuffer!)

let success = self.assetWriterPixelBufferInput?.append(filteredBuffer!, withPresentationTime: self.currentSampleTime!)

Обратите внимание, что буферная функция передает ciImage. Я отформатировал свою буферную функцию, чтобы передать CIImage, и смог избавиться от многих вещей, которые были внутри: 

func buffer(from image: CIImage) -> CVPixelBuffer? {
    let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary
    var pixelBuffer : CVPixelBuffer?
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.extent.width), Int(image.extent.height), kCVPixelFormatType_32ARGB, attrs, &pixelBuffer)

    guard (status == kCVReturnSuccess) else {
        return nil
    }

    return pixelBuffer
}
0 голосов
/ 24 января 2019

Создайте CIContext и используйте его для визуализации CIImage непосредственно в CVPixelBuffer, используя CIContext.render(_: CIImage, to buffer: CVPixelBuffer).

...