Как использовать OpenCV для наложения изображения и текста / фигур? - PullRequest
Новая
       82

Как использовать OpenCV для наложения изображения и текста / фигур?

2 голосов
/ 23 февраля 2020

Я столкнулся с проблемой прозрачных оверлеев OpenCV. Пока это мой код: 

import cv2

cap = cv2.VideoCapture('Sample_Vid.mp4')
stat_overlay = cv2.imread('overlay.png')
fps = 21

if cap.isOpened():
    while cap.isOpened():
        ret, frame = cap.read()
        overlay = frame.copy()
        output = frame.copy()

        cv2.rectangle(overlay, (0, 0), (730, 50), (0, 0, 0), -1)
        cv2.putText(overlay, fps, (1230, 20), cv2.FONT_HERSHEY_DUPLEX, 0.5, (255, 255, 255), 1)
        cv2.addWeighted(overlay, 1.0, output, 0, 0, output)

        cv2.imshow('frame', output)

Итак, у меня есть рамка с прямоугольником и FPS, отображаемым на нем. Теперь я хочу наложить мое изображение stat_overlay ПЕРВЫМ, а затем текст и форму, потому что они должны быть динамическими c. В каждом объяснении, которое я читал, было сказано, что он делал это с cv2.addWeighted(stat_overlay, 1.0, output, 0, 0, output), но у меня уже есть одна команда, подобная той, которая используется наложениями Dynami c, и если я вставлю вторую над ней, она не будет работать. Есть идеи, как решить эту проблему?

Спасибо за ответы заранее!

1 Ответ

1 голос
/ 24 февраля 2020

Используемая вами команда: cv2.addWeighted(overlay, 1.0, output, 0, 0, output), использует alpha = 1.0 и beta = 0, поэтому прозрачность отсутствует.
Вы в основном копируете overlay изображение в output образ.

AddWeighted документация:

cv2.addВзвешенный (src1, альфа, src2, бета, гамма [, dst [, dtype]]))
src1 - первый входной массив.
alpha - вес первых элементов массива.
src2 - второй входной массив того же размера и номера канала, что и src1.
beta - вес элементов второго массива.
dst - выходной массив, имеющий тот же размер и количество каналов, что и входные массивы.

Вы также можете использовать следующий код для наложения текста: 

output = frame.copy()
cv2.rectangle(output, (0, 0), (730, 50), (0, 0, 0), -1)
cv2.putText(output, fps, (1230, 20), cv2.FONT_HERSHEY_DUPLEX, 0.5, (255, 255, 255), 1)

Для наложения stat_overlay вы можете использовать решение типа Alpha blending пример кода.

Я не знаю, если 'overlay.png' в формате RGB или RGBA.
Если изображение имеет альфа-канал, вы можете использовать его в качестве плоскости прозрачности.
Если изображение имеет RGB, Вы можете создать желаемую альфа-плоскость.

В случае, если 'overlay.png' - это маленькое изображение (например, lo go), вам, вероятно, не нужно ничего из этого, вы можете "поместить" маленькое изображение на output изображение.

Я создал автономный пример кода, основанный на образце alpha blending .
Чтобы сделать код автономным, код использует:

  • ffmpeg- python для генерации синтетического c видео (для тестирования).
  • Код, dr aws красный круг, который заменяет 'overlay.png'

Вот код: 

import ffmpeg
import cv2
import numpy as np

in_filename = 'Sample_Vid.mp4' # Input file for testing (".264" or ".h264" is a convention for elementary h264 video stream file)

## Build synthetic video, for testing:
################################################
# ffmpeg -y -r 10 -f lavfi -i testsrc=size=192x108:rate=1 -c:v libx264 -crf 23 -t 50 test_vid.264

width, height = 640, 480

(
    ffmpeg
    .input('testsrc=size={}x{}:rate=1'.format(width, height), f='lavfi')
    .output(in_filename, vcodec='libx264', crf=23, t=5)
    .overwrite_output()
    .run()
)
################################################


cap = cv2.VideoCapture('Sample_Vid.mp4')
#stat_overlay = cv2.imread('overlay.png')

# Create image with green circle, instead of reaing a file
# The image is created as RGBA (the 4'th plane is the transparency).
stat_overlay = np.zeros((height, width, 4), np.uint8)
cv2.circle(stat_overlay, (320, 240), 80, (0, 0, 255, 255), thickness=20) # Draw red circle (with alpha = 255) 

# https://www.learnopencv.com/alpha-blending-using-opencv-cpp-python/
stat_alpha = stat_overlay[:, :, 3] # Take 4'th plane as alpha channel
stat_alpha = cv2.cvtColor(stat_alpha, cv2.COLOR_GRAY2BGR) # Duplicate alpha channel 3 times (to match output dimensions)

# https://www.learnopencv.com/alpha-blending-using-opencv-cpp-python/
# Normalize the alpha mask to keep intensity between 0 and 1
stat_alpha = stat_alpha.astype(float) / 255

stat_overlay = stat_overlay[:, :, 0:3] # Get RGB channels

fps = 21


if cap.isOpened():
    while cap.isOpened():
        ret, frame = cap.read()
        if ret:            
            output = frame.copy()

            # https://www.learnopencv.com/alpha-blending-using-opencv-cpp-python/
            # Alpha blending:
            foreground = stat_overlay.astype(float)
            background = output.astype(float)

            # Multiply the foreground with the alpha matte
            foreground = cv2.multiply(stat_alpha, foreground)

            # Multiply the background with ( 1 - alpha )
            background = cv2.multiply(1.0 - stat_alpha, background)

            # Add the masked foreground and background.
            output = cv2.add(foreground, background).astype(np.uint8)

            cv2.rectangle(output, (0, 0), (230, 50), (0, 0, 0), -1)
            cv2.putText(output, str(fps), (123, 20), cv2.FONT_HERSHEY_DUPLEX, 0.5, (255, 255, 255), 1)

            cv2.imshow('frame', output)
            cv2.waitKey(1000)

        else:
            break

cv2.destroyAllWindows()

Результат (последний кадр):
enter image description here

...