Конвертировать CGImage в MTLTexture без предварительного умножения - PullRequest
Новая
       62

Конвертировать CGImage в MTLTexture без предварительного умножения

1 голос
/ 16 мая 2019

У меня есть UIImage, который я ранее создал из файла png: 

let strokeUIImage = UIImage(data: pngData)

Я хочу преобразовать strokeImage (который имеет непрозрачность) в MTLTexture для отображения в MTKView,но выполнение преобразования, по-видимому, приводит к нежелательному предварительному умножению, которое затемняет все полупрозрачные края.

Мои параметры смешивания следующие: 

pipelineDescriptor.colorAttachments[0].isBlendingEnabled = true
pipelineDescriptor.colorAttachments[0].rgbBlendOperation = .add
pipelineDescriptor.colorAttachments[0].alphaBlendOperation = .add
pipelineDescriptor.colorAttachments[0].sourceRGBBlendFactor = .one
pipelineDescriptor.colorAttachments[0].sourceAlphaBlendFactor = .one
pipelineDescriptor.colorAttachments[0].destinationRGBBlendFactor = .oneMinusSourceAlpha
pipelineDescriptor.colorAttachments[0].destinationAlphaBlendFactor = .oneMinusSourceAlpha

Я пробовал два метода преобразования: 

let stampTexture = try! MTKTextureLoader(device: self.device!).newTexture(cgImage: strokeUIImage.cgImage!, options: nil)

и более сложный метод на основе dataProvider: 

let image = strokeUIImage.cgImage!
    let imageWidth = image.width
    let imageHeight = image.height
    let bytesPerPixel:Int! = 4
    let rowBytes = imageWidth * bytesPerPixel        

    let texDescriptor = MTLTextureDescriptor.texture2DDescriptor(pixelFormat: .rgba8Unorm_srgb,
                                                              width: imageWidth,
                                                              height: imageHeight,
                                                              mipmapped: false)

    guard let stampTexture = device!.makeTexture(descriptor: texDescriptor) else { return }

    let srcData: CFData! = image.dataProvider?.data
    let pixelData = CFDataGetBytePtr(srcData)

    let region = MTLRegionMake2D(0, 0, imageWidth, imageHeight)
    stampTexture.replace(region: region, mipmapLevel: 0, withBytes: pixelData!, bytesPerRow: Int(rowBytes))

, оба из которых дают один и тот же нежелательный предварительно умноженный результат.

Последнее я попробовал, поскольку в некоторых публикациях предлагалось, чтобы старый метод swift3 CGDataProviderCopyData() извлекал необработанные данные пикселей из изображения, которое не было предварительно умножено.К сожалению, эквивалент: 

let srcData: CFData! = image.dataProvider?.data

, похоже, не сработает.Я что-то пропустил?

Буду признателен за любые указатели.

1 Ответ

0 голосов
/ 29 мая 2019

После долгих экспериментов я пришел к решению, которое решает проблему предварительного умножения, присущую изображениям CoreGraphics.Благодаря совету Уоррена об использовании функции ускорения (в частности, vImageUnpremultiplyData_ARGB8888) я подумал, почему бы не создать CGImage, используя vImage_CGImageFormat, который позволит мне поиграть с параметром bitmapInfo, который определяет, как интерпретировать альфа ... Результатне является идеальным, как показано на рисунке ниже:

UIImage to MTLTexture

Каким-то образом в переводе значения альфа слегка растут, (возможно,RGB также хорошо, но не значительно).Кстати, я должен отметить, что формат пикселя png - sRGB, а используемый MTKView установлен на MTLPixelFormat.rgba16Float (требование приложения)

Ниже приведена полная подпрограмма metalDrawStrokeUIImage, которую я реализовал.Особо следует отметить строку: 

bitmapInfo: CGBitmapInfo(rawValue: CGImageAlphaInfo.last.rawValue)

, которая по существу не связывает альфу (я думаю) без вызова vImageUnpremultiplyData_ARGB8888.Глядя на полученное изображение, безусловно, выглядит как неумноженное изображение ...

Наконец, чтобы вернуть предварительно умноженную текстуру на стороне MTKView, я позволю фрагментному шейдеру обрабатывать предварительное умножение: 

fragment float4 premult_fragment(VertexOut interpolated [[stage_in]],
                                 texture2d<float> texture [[texture(0)]],
                                 sampler sampler2D [[sampler(0)]]) {
  float4 sampled = texture.sample(sampler2D, interpolated.texCoord);

  // this fragment shader premultiplies incoming rgb with texture's alpha

  return float4(sampled.r * sampled.a,
                sampled.g * sampled.a,
                sampled.b * sampled.a,
                sampled.a );


} // end of premult_fragment

Результат довольно близок к источнику входного сигнала, но изображение может быть на 5% более непрозрачным, чем входящий png.Опять же, пиксельный формат png sRGB, и MTKView, который я использую для отображения, установлен на MTLPixelFormat.rgba16Float.Так что я уверен, что где-то что-то запуталось.Если у кого-то есть какие-либо указатели, я бы очень признателен за это.

Ниже приведен остаток соответствующего кода: 

func metalDrawStrokeUIImage (strokeUIImage: UIImage, strokeBbox: CGRect) {

self.metalSetupRenderPipeline(compStyle: compMode.strokeCopy) // needed so stampTexture is not modified by fragmentFunction

let bytesPerPixel = 4
let bitsPerComponent = 8

let width = Int(strokeUIImage.size.width)
let height = Int(strokeUIImage.size.height)

let rowBytes = width * bytesPerPixel
//
let texDescriptor = MTLTextureDescriptor.texture2DDescriptor(pixelFormat: .rgba8Unorm_srgb,
                                                             width: width,
                                                             height: height,
                                                             mipmapped: false)
guard let stampTexture = device!.makeTexture(descriptor: texDescriptor) else { return }

//let cgImage: CGImage = strokeUIImage.cgImage!
//let sourceColorSpace = cgImage.colorSpace else {
guard
  let cgImage = strokeUIImage.cgImage,
  let sourceColorSpace = cgImage.colorSpace else {
    print("Unable to initialize cgImage or colorSpace.")
    return
}

var format = vImage_CGImageFormat(
  bitsPerComponent: UInt32(cgImage.bitsPerComponent),
  bitsPerPixel: UInt32(cgImage.bitsPerPixel),
  colorSpace: Unmanaged.passRetained(sourceColorSpace),
  bitmapInfo: CGBitmapInfo(rawValue: CGImageAlphaInfo.last.rawValue),
  version: 0, decode: nil,
  renderingIntent: CGColorRenderingIntent.defaultIntent)
var sourceBuffer = vImage_Buffer()

defer {
  free(sourceBuffer.data)
}

var error = vImageBuffer_InitWithCGImage(&sourceBuffer, &format, nil, cgImage, numericCast(kvImageNoFlags))

guard error == kvImageNoError else {
  print ("[MetalBrushStrokeView]: can't vImageBuffer_InitWithCGImage")
  return

}

//vImagePremultiplyData_RGBA8888(&sourceBuffer, &sourceBuffer, numericCast(kvImageNoFlags))


// create a CGImage from vImage_Buffer
var destCGImage = vImageCreateCGImageFromBuffer(&sourceBuffer, &format, nil, nil, numericCast(kvImageNoFlags), &error)?.takeRetainedValue()


guard error == kvImageNoError else {
  print ("[MetalBrushStrokeView]: can't vImageCreateCGImageFromBuffer")
  return
}

let dstData: CFData = (destCGImage!.dataProvider!.data)!
let pixelData = CFDataGetBytePtr(dstData)

destCGImage = nil

let region = MTLRegionMake2D(0, 0, Int(width), Int(height))
stampTexture.replace(region: region, mipmapLevel: 0, withBytes: pixelData!, bytesPerRow: Int(rowBytes))
let stampColor = UIColor.white
let stampCorners = self.stampSetVerticesFromBbox(bbox: strokeBbox)
self.stampAppendToVertexBuffer(stampLayer: stampLayerMode.stampLayerFG, stampCorners: stampCorners, stampColor: stampColor)
self.metalRenderStampSingle(stampTexture: stampTexture)
self.initializeStampArray() // clears out the stamp array so we always draw 1 stamp at a time


} // end of func metalDrawStrokeUIImage (strokeUIImage: UIImage, strokeBbox: CGRect)
...