Как выделить необычные метки на мобильных устройствах

Question

Я работаю над примером задачи, где мне нужно выделить необычные метки на любых мобильных устройствах. Я пытаюсь с opencv python. Но я не получаю фактические контуры для необычных меток.

Входное изображение имеет вид:

И выходное изображение ожидается, как показано ниже:

Я пытаюсь что-то вроде ниже, но это не сработало.

import cv2
from matplotlib import pyplot as plt

blurValue = 15
img_path = "input.jpg"

# reading the image 
image = cv2.imread(img_path)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (blurValue, blurValue), 0)
edged = cv2.Canny(image, 100, 255)

#applying closing function 
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (7, 7))
closed = cv2.morphologyEx(edged, cv2.MORPH_CLOSE, kernel)
lower = np.array([4, 20, 93])
upper = np.array([83, 79, 166])

# hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# blur = cv2.GaussianBlur(hsv, (blurValue, blurValue), 0)

mask = cv2.inRange(closed, lower, upper)
result_1 = cv2.bitwise_and(frame, frame, mask = mask)
cnts = cv2.findContours(result_1.copy(), cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]

for c in cnts:
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    cv2.drawContours(image, [approx], -1, (0, 255, 0), 2)
plt.imshow(image)
plt.title("image")
plt.show()

Любая помощь будет оценена. Спасибо.

Answer 1

Мое предложение было бы использовать адаптивный порог и фильтр по области (и, возможно, другие характеристики). Вот мой код и результаты с использованием Python OpenCV.

Ввод:

import cv2
import numpy as np

# read image
img = cv2.imread("iphone.jpg")

# convert img to grayscale
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# apply gaussian blur
blur = cv2.GaussianBlur(gray, (29,29), 0)

# do adaptive threshold on gray image
thresh = cv2.adaptiveThreshold(blur, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 51, 3)

# apply morphology open then close
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (17, 17))
open = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel)
close = cv2.morphologyEx(open, cv2.MORPH_CLOSE, kernel)

# Get contours
cnts = cv2.findContours(close, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
result = img.copy()
for c in cnts:
    area = cv2.contourArea(c)
    if area < 10000 and area > 5000:
        cv2.drawContours(result, [c], -1, (0, 255, 0), 2)


# write results to disk
cv2.imwrite("iphone_thresh.jpg", thresh)
cv2.imwrite("iphone_close.jpg", close)
cv2.imwrite("iphone_markings.jpg", result)

# display it
cv2.imshow("IMAGE", img)
cv2.imshow("THRESHOLD", thresh)
cv2.imshow("CLOSED", close)
cv2.imshow("RESULT", result)
cv2.waitKey(0)

Изображение с порогом:

Обработанное морфологическое изображение:

Окончательный результат:

Я также предложил бы выровнять изображение с известным чистым iPhone изображением и создать маску камеры и lo go, et c., отметки, позволяющие отфильтровать результаты, чтобы исключить их (и, возможно, даже границу контура камеры).