Как удалить определенный тег / наклейку / объект с изображений с помощью OpenCV?

Question

У меня есть сотни изображений ювелирных изделий. У некоторых из них есть ярлык «бестселлер». Положение тега отличается от изображения к изображению. Я хочу перебрать все изображения, и если изображение имеет этот тег, удалите его. Полученное изображение будет отображать фон поверх пикселей удаленного объекта.

Пример изображения с тегом / наклейкой / объектом:

Метка / стикер / объект для удаления:

import numpy as np
import cv2 as cv

img = plt.imread('./images/001.jpg')
sticker = plt.imread('./images/tag.png',1)
diff_im = cv2.absdiff(img, sticker)

Я хочу, чтобы полученное изображение было таким:

Answer 1

Вот метод, использующий модифицированный подход Template Matching . Вот общая стратегия:

• Загрузить шаблон, преобразовать в оттенки серого, выполнить обнаружение канни
• Загрузить исходное изображение, преобразовать в оттенки серого
• Постоянно масштабировать изображение, применять сопоставление с шаблоном, используя края, и отслеживать коэффициент корреляции (чем выше значение, тем лучше совпадение)
• Найти координаты наиболее подходящей ограничительной рамки, а затем стереть нежелательную область интереса

Для начала мы загружаем шаблон и выполняем обнаружение краев Canny. Применение сопоставления шаблонов с краями вместо необработанного изображения устраняет различия в цветовых вариациях и дает более надежный результат. Извлечение краев из изображения шаблона:

Затем мы непрерывно уменьшаем изображение и применяем сопоставление с шаблоном к нашему измененному изображению. Я сохраняю соотношение сторон при каждом изменении размера, используя старый ответ . Вот визуализация стратегии

Причина, по которой мы изменяем размер изображения, заключается в том, что стандартное сопоставление шаблона с использованием cv2.matchTemplate не будет устойчивым и может давать ложные срабатывания, если размеры шаблона и изображения не совпадают. Чтобы преодолеть эту проблему измерения, мы используем этот модифицированный подход:

• Непрерывное изменение размера входного изображения в различных меньших масштабах
• Применить сопоставление с шаблоном, используя cv2.matchTemplate и отследить наибольший коэффициент корреляции
• Отношение / шкала с наибольшим коэффициентом корреляции будет иметь наилучшую согласованную рентабельность инвестиций

После получения ОИ мы можем «удалить» логотип, заполнив прямоугольник белым цветом, используя

cv2.rectangle(final, (start_x, start_y), (end_x, end_y), (255,255,255), -1)

import cv2
import numpy as np

# Resizes a image and maintains aspect ratio
def maintain_aspect_ratio_resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    # Grab the image size and initialize dimensions
    dim = None
    (h, w) = image.shape[:2]

    # Return original image if no need to resize
    if width is None and height is None:
        return image

    # We are resizing height if width is none
    if width is None:
        # Calculate the ratio of the height and construct the dimensions
        r = height / float(h)
        dim = (int(w * r), height)
    # We are resizing width if height is none
    else:
        # Calculate the ratio of the 0idth and construct the dimensions
        r = width / float(w)
        dim = (width, int(h * r))

    # Return the resized image
    return cv2.resize(image, dim, interpolation=inter)

# Load template, convert to grayscale, perform canny edge detection
template = cv2.imread('template.PNG')
template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
template = cv2.Canny(template, 50, 200)
(tH, tW) = template.shape[:2]
cv2.imshow("template", template)

# Load original image, convert to grayscale
original_image = cv2.imread('1.jpg')
final = original_image.copy()
gray = cv2.cvtColor(original_image, cv2.COLOR_BGR2GRAY)
found = None

# Dynamically rescale image for better template matching
for scale in np.linspace(0.2, 1.0, 20)[::-1]:

    # Resize image to scale and keep track of ratio
    resized = maintain_aspect_ratio_resize(gray, width=int(gray.shape[1] * scale))
    r = gray.shape[1] / float(resized.shape[1])

    # Stop if template image size is larger than resized image
    if resized.shape[0] < tH or resized.shape[1] < tW:
        break

    # Detect edges in resized image and apply template matching
    canny = cv2.Canny(resized, 50, 200)
    detected = cv2.matchTemplate(canny, template, cv2.TM_CCOEFF)
    (_, max_val, _, max_loc) = cv2.minMaxLoc(detected)

    # Uncomment this section for visualization
    '''
    clone = np.dstack([canny, canny, canny])
    cv2.rectangle(clone, (max_loc[0], max_loc[1]), (max_loc[0] + tW, max_loc[1] + tH), (0,255,0), 2)
    cv2.imshow('visualize', clone)
    cv2.waitKey(0)
    '''

    # Keep track of correlation value
    # Higher correlation means better match
    if found is None or max_val > found[0]:
        found = (max_val, max_loc, r)

# Compute coordinates of bounding box
(_, max_loc, r) = found
(start_x, start_y) = (int(max_loc[0] * r), int(max_loc[1] * r))
(end_x, end_y) = (int((max_loc[0] + tW) * r), int((max_loc[1] + tH) * r))

# Draw bounding box on ROI to remove
cv2.rectangle(original_image, (start_x, start_y), (end_x, end_y), (0,255,0), 2)
cv2.imshow('detected', original_image)

# Erase unwanted ROI (Fill ROI with white)
cv2.rectangle(final, (start_x, start_y), (end_x, end_y), (255,255,255), -1)
cv2.imshow('final', final)
cv2.waitKey(0)

Answer 2

Использовать cv.matchTemplate . Пример приведен в документации .

После нахождения объекта просто нарисуйте прямоугольник с отрицательной толщиной, чтобы он был закрашен белым.