Как вы расширяете пространство (границы) CIImage, не растягивая оригинал? - PullRequest
0 голосов
/ 27 августа 2018

Я применяю несколько фильтров к уже обрезанному изображению, и я хотел бы перевернуть его копию рядом с оригиналом. Это сделает его в два раза больше.

Проблема: как вы расширяете границы, чтобы оба могли соответствовать? .cropped (to: CGRect) будет растягивать любой исходный контент. Причина, по которой существует существующий контент, заключается в том, что я пытаюсь максимально использовать applicationFilter, чтобы сэкономить на обработке. Именно поэтому я обрезаю исходное неотраженное изображение.

Ниже мой CIImage "alphaMaskBlend2" с фильтром композитинга и преобразованием, примененным к тому же изображению, которое переворачивает его и регулирует его положение. sourceCore.extent - это размер, который я хочу получить для окончательного изображения.

    alphaMaskBlend2 = alphaMaskBlend2?.applyingFilter("CISourceAtopCompositing",
                                                      parameters: [kCIInputImageKey: (alphaMaskBlend2?.transformed(by: scaledImageTransform))!,
                                                                   kCIInputBackgroundImageKey: alphaMaskBlend2!]).cropped(to: sourceCore.extent)

Я играл с позицией преобразования в LLDB. Я обнаружил, что при обрезке этого фильтра самое левое изображение становится растянутым. Если я использую сжатие в той же степени, а затем снова обрезаю изображение в той же степени, изображение больше не искажается, но границы изображения составляют только половину ширины, которой он должен быть.

Единственный способ, которым я мог добиться этого, - это наложение на фоновое изображение (sourceCore), которое будет размером двух изображений вместе, а затем наложение другого изображения:

    alphaMaskBlend2 = alphaMaskBlend2?.applyingFilter("CISourceAtopCompositing",
                                                      parameters: [kCIInputImageKey: alphaMaskBlend2!,
                                                                   kCIInputBackgroundImageKey: sourceCore])

    alphaMaskBlend2 = alphaMaskBlend2?.applyingFilter("CISourceAtopCompositing",
                                                      parameters: [kCIInputImageKey: (alphaMaskBlend2?.cropped(to: cropRect).transformed(by: scaledImageTransform))!,
                                                                   kCIInputBackgroundImageKey: alphaMaskBlend2!])

Проблема в том, что это дороже, чем необходимо. Я даже проверил это с помощью бенчмаркинга. Было бы гораздо больше смысла, если бы я мог сделать это с одним композитом.

1 Ответ

0 голосов
/ 31 августа 2018

Хотя я могу"перевернуть" CIImage, я не смог найти способ использовать существующий CIFilter, чтобы "сшить" его вдоль оригинала. Тем не менее, с некоторыми базовыми знаниями написания своего CIKernel, вы можете. Простой проект достижения этого - здесь .

Этот проект содержит образец изображения и использует CoreImage и GLKView it:

  • переворачивает изображение путем транспонирования координат Y "bottom / top" для CIPerspectiveCorrection
  • создает новое изображение "палитры", используя CIConstantColor, а затем обрезает его, используя CICrop, чтобы получить двойную ширину оригинала
  • использует очень простой CIKernel (зарегистрированный как "Stitch", чтобы фактически соединить его вместе

Вот код для переворачивания:

    // use CIPerspectiveCorrection to "flip" on the Y axis

    let minX:CGFloat = 0
    let maxY:CGFloat = 0
    let maxX = originalImage?.extent.width
    let minY = originalImage?.extent.height

    let flipFilter = CIFilter(name: "CIPerspectiveCorrection")
    flipFilter?.setValue(CIVector(x: minX, y: maxY), forKey: "inputTopLeft")
    flipFilter?.setValue(CIVector(x: maxX!, y: maxY), forKey: "inputTopRight")
    flipFilter?.setValue(CIVector(x: minX, y: minY!), forKey: "inputBottomLeft")
    flipFilter?.setValue(CIVector(x: maxX!, y: minY!), forKey: "inputBottomRight")
    flipFilter?.setValue(originalImage, forKey: "inputImage")
    flippedImage = flipFilter?.outputImage

Вот код для создания палитры:

    let paletteFilter = CIFilter(name: "CIConstantColorGenerator")
    paletteFilter?.setValue(CIColor(red: 0.7, green: 0.4, blue: 0.4), forKey: "inputColor")
    paletteImage = paletteFilter?.outputImage
    let cropFilter = CIFilter(name: "CICrop")
    cropFilter?.setValue(paletteImage, forKey: "inputImage")
    cropFilter?.setValue(CIVector(x: 0, y: 0, z: (originalImage?.extent.width)! * 2, w: (originalImage?.extent.height)!), forKey: "inputRectangle")
    paletteImage = cropFilter?.outputImage

Вот код для регистрации и использования пользовательских CIFilter:

    // register and use stitch filer

    StitchedFilters.registerFilters()
    let stitchFilter = CIFilter(name: "Stitch")
    stitchFilter?.setValue(originalImage?.extent.width, forKey: "inputThreshold")
    stitchFilter?.setValue(paletteImage, forKey: "inputPalette")
    stitchFilter?.setValue(originalImage, forKey: "inputOriginal")
    stitchFilter?.setValue(flippedImage, forKey: "inputFlipped")
    finalImage = stitchFilter?.outputImage

Весь этот код (длинный с ограничениями макета) в демонстрационном проекте находится в viewDidLoad, поэтому, пожалуйста, разместите его там, где он принадлежит!

Вот код для (a) создания подкласса CIFilter с именем Stitch и (b) его регистрации, чтобы вы могли использовать его как любой другой фильтр:

func openKernelFile(_ name:String) -> String {
    let filePath = Bundle.main.path(forResource: name, ofType: ".cikernel")
    do {
        return try String(contentsOfFile: filePath!)
    }
    catch let error as NSError {
        return error.description
    }
}

let CategoryStitched = "Stitch"

class StitchedFilters: NSObject, CIFilterConstructor {
    static func registerFilters() {
        CIFilter.registerName(
            "Stitch",
            constructor: StitchedFilters(),
            classAttributes: [
                kCIAttributeFilterCategories: [CategoryStitched]
            ])
    }
    func filter(withName name: String) -> CIFilter? {
        switch name {
        case "Stitch":
            return Stitch()
        default:
            return nil
        }
    }
}

class Stitch:CIFilter {

    let kernel = CIKernel(source: openKernelFile("Stitch"))
    var inputThreshold:Float  = 0
    var inputPalette: CIImage!
    var inputOriginal: CIImage!
    var inputFlipped: CIImage!

    override var attributes: [String : Any] {
        return [
            kCIAttributeFilterDisplayName: "Stitch",

            "inputThreshold": [kCIAttributeIdentity: 0,
                               kCIAttributeClass: "NSNumber",
                               kCIAttributeDisplayName: "Threshold",
                               kCIAttributeDefault: 0.5,
                               kCIAttributeMin: 0,
                               kCIAttributeSliderMin: 0,
                               kCIAttributeSliderMax: 1,
                               kCIAttributeType: kCIAttributeTypeScalar],

            "inputPalette": [kCIAttributeIdentity: 0,
                             kCIAttributeClass: "CIImage",
                             kCIAttributeDisplayName: "Palette",
                             kCIAttributeType: kCIAttributeTypeImage],

            "inputOriginal": [kCIAttributeIdentity: 0,
                              kCIAttributeClass: "CIImage",
                              kCIAttributeDisplayName: "Original",
                              kCIAttributeType: kCIAttributeTypeImage],

            "inputFlipped": [kCIAttributeIdentity: 0,
                             kCIAttributeClass: "CIImage",
                             kCIAttributeDisplayName: "Flipped",
                             kCIAttributeType: kCIAttributeTypeImage]
        ]
    }
    override init() {
        super.init()
    }
    override func setValue(_ value: Any?, forKey key: String) {
        switch key {
        case "inputThreshold":
            inputThreshold = value as! Float
        case "inputPalette":
            inputPalette = value as! CIImage
        case "inputOriginal":
            inputOriginal = value as! CIImage
        case "inputFlipped":
            inputFlipped = value as! CIImage
        default:
            break
        }
    }
    @available(*, unavailable) required init?(coder aDecoder: NSCoder) {
        fatalError("init(coder:) has not been implemented")
    }
    override var  outputImage: CIImage {
        return kernel!.apply(
            extent: inputPalette.extent,
            roiCallback: {(index, rect) in return rect},
            arguments: [
                inputThreshold as Any,
                inputPalette as Any,
                inputOriginal as Any,
                inputFlipped as Any
            ])!
    }
}

Наконец, код CIKernel:

kernel vec4 stitch(float threshold, sampler palette, sampler original, sampler flipped) {
    vec2 coord = destCoord();
    if (coord.x < threshold) {
        return sample(original, samplerCoord(original));
    } else {
        vec2 flippedCoord = coord - vec2(threshold, 0.0);
        vec2 flippedCoordinate = samplerTransform(flipped, flippedCoord);
        return sample(flipped, flippedCoordinate);
    }
}

Теперь у кого-то еще может быть что-то более элегантное - возможно, даже использующее существующий CIFilter - но это работает хорошо. Он использует только графический процессор, поэтому с точки зрения производительности его можно использовать в режиме реального времени. Я добавил ненужный код (регистрация фильтра, использование словаря для определения атрибутов), чтобы сделать его более обучающим упражнением для новичков в создании CIKernels, которое может использовать любой, кто знает, как использовать CIFilters. Если вы сосредоточитесь на коде ядра, вы поймете, насколько он похож на C.

Последнее, предостережение. Я сшиваю только перевернутое изображение (ось Y) справа от оригинала. Вам нужно будет что-то изменить, если вы хотите что-то еще.

...