Потоковое видео с растровым изображением в качестве наложения - PullRequest
Новая
       7

Потоковое видео с растровым изображением в качестве наложения

0 голосов
/ 05 июля 2018

Я новичок в wowza и работаю над проектом по трансляции потокового видео, снятого с устройства Android. Мне нужно прикрепить изображение (динамическое) к видеопотоку, чтобы пользователи, просматривающие этот поток, могли его просматривать. Код, который я пробовал, приведен ниже (как в примере исходного кода от wowza): 

        // Read in a PNG file from the app resources as a bitmap
        Bitmap overlayBitmap = BitmapFactory.decodeResource(getResources(), R.drawable.overlay_logo);

        // Initialize a bitmap renderer with the bitmap
        mWZBitmap = new WZBitmap(overlayBitmap);

        // Place the bitmap at top left of the display
        mWZBitmap.setPosition(WZBitmap.LEFT, WZBitmap.TOP);

        // Scale the bitmap initially to 75% of the display surface width
        mWZBitmap.setScale(0.75f, WZBitmap.SURFACE_WIDTH);

        // Register the bitmap renderer with the GoCoder camera preview view as a frame listener
        mWZCameraView.registerFrameRenderer(mWZBitmap);

Это работает нормально, но я не хочу показывать изображение на конце вещания, изображение должно быть видно только на принимающей стороне. Есть ли способ сделать это?

1 Ответ

0 голосов
/ 31 июля 2018

Мне удалось это сделать, зарегистрировав FrameRenderer и установив растровое изображение внутри onWZVideoFrameRendererDraw.

Фрагмент кода приведен ниже (Котлин): 

private fun attachImageToBroadcast(scoreValue: ScoreUpdate) {
    bitmap = getBitMap(scoreValue)
    // Initialize a bitmap renderer with the bitmap
    mWZBitmap = WZBitmap(bitmap)
    // Position the bitmap in the display
    mWZBitmap!!.setPosition(WZBitmap.LEFT, WZBitmap.TOP)
    // Scale the bitmap initially
    mWZBitmap!!.setScale(0.37f, WZBitmap.FRAME_WIDTH)
    mWZBitmap!!.isVisible = false // as i dont want to show it initially
    mWZCameraView!!.registerFrameRenderer(mWZBitmap)
    mWZCameraView!!.registerFrameRenderer(VideoFrameRenderer())
}

private inner class VideoFrameRenderer : WZRenderAPI.VideoFrameRenderer {
    override fun onWZVideoFrameRendererRelease(p0: WZGLES.EglEnv?) {
    }

    override fun onWZVideoFrameRendererDraw(p0: WZGLES.EglEnv?, framSize: WZSize?, p2: Int) {
            mWZBitmap!!.setBitmap(bitmap) // note that the bitmap value gets changed once I get the new values
                                          //I have implemented some flags and conditions to check whether a new value has been obtained and only if these values are satisfied, the setBitmap is called. Otherwise, as it is called continuously, flickering can occur in the screen
            }


    override fun isWZVideoFrameRendererActive(): Boolean {
        return true
    }

    override fun onWZVideoFrameRendererInit(p0: WZGLES.EglEnv?) {
    }

}

В iOS мы можем реализовать протокол WZVideoSink для достижения этой цели. Во-первых, нам нужно обновить ScoreView с последней оценкой, а затем преобразовать представление в изображение. Затем мы можем встроить это изображение в захваченный кадр, используя метод протокола WZVideoSink. Пример кода приведен ниже. 

 // MARK: - WZVideoSink Protocol
func videoFrameWasCaptured(_ imageBuffer: CVImageBuffer, framePresentationTime: CMTime, frameDuration: CMTime) {

        if self.goCoder != nil && self.goCoder!.isStreaming {
           let frameImage = CIImage(cvImageBuffer: imageBuffer)
            var addCIImage: CIImage = CIImage()

            if let scoreImage = self.getViewAsImage() {
 // scoreImage is the image you want to embed.
                addCIImage = CIImage(cgImage: scoreImage.cgImage!)
            }

            let filter = CIFilter(name: "CISourceOverCompositing")
            filter?.setDefaults()
            filter?.setValue(addCIImage, forKey: kCIInputImageKey)
            filter?.setValue(frameImage, forKey: kCIInputBackgroundImageKey)

            if let outputImage: CIImage = filter?.value(forKey: kCIOutputImageKey) as? CIImage {
                let context = CIContext(options: nil)
                context.render(outputImage, to: imageBuffer)
            } else {
                let context = CIContext(options: nil)
                context.render(frameImage, to: imageBuffer)
            }
        }
}

func getViewAsImage() -> UIImage {
// convert scoreView to image
    UIGraphicsBeginImageContextWithOptions(self.scoreView.bounds.size, false, 0.0)
    self.scoreView.layer.render(in: UIGraphicsGetCurrentContext()!)

    let scoreImage: UIImage = UIGraphicsGetImageFromCurrentImageContext()!
    UIGraphicsEndImageContext()
    return scoreImage
}
...