проблема openCV с полным обнаружением контуров фигур

Question

Я занимаюсь этим университетским проектом, в котором я пытаюсь обнаружить элементы пользовательского интерфейса на скриншотах приложений Android, используя openCV.Я не ожидаю 100-процентной точности для этого обнаружения элементов пользовательского интерфейса.

Это мой код ниже.Я преобразовываю изображение в оттенки серого, применяю размытие по Гауссу, а затем использую адаптивный порог для преобразования изображения в двоичное.После чего я использую метод поиска контуров.

ap = argparse.ArgumentParser()
ap.add_argument("-i","--image", help = "path to an image", required = 
True)
args = vars(ap.parse_args())

image = cv2.imread(args["image"])
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

cv2.imshow("gray",gray)
cv2.waitKey(0)


blurred = cv2.GaussianBlur(gray, (5,5), 0)
thresh = cv2.adaptiveThreshold(blurred, 255, 
cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY_INV, 11, 4)

cv2.imshow("thresh",thresh)
cv2.waitKey(0)
cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, 
cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)

cv2.drawContours(image, cnts, -1, (0,255,0), 1)

cv2.imshow("contours", image)
cv2.waitKey(0)

for c in cnts:

    area = cv2.contourArea(c)
    print(area)
    if area > 50:
        M = cv2.moments(c)


        cX = int(M['m10'] / M['m00'])
        cY = int(M['m01'] / M['m00'])



        #cv2.drawContours(image, [c], -1, (0,255,0), 2)  # draw contours on image 

        (x,y,w,h) = cv2.boundingRect(c) # for each contour get a 
bounding rectangle 
        mask = np.zeros(image.shape[:2], dtype = "uint8")    # find 
shape of the image dimensions and set up a mask 
        mask[y: y + h, x: x + w] = 255      # convert region of 
interest into white 
        to_display = cv2.bitwise_and(image,image, mask = mask)  # carry 
out bitwise and 
        #cv2.putText(image, 'center', (c))

        cv2.imshow("Image", to_display)
        cv2.waitKey(0)

Это скриншот, на котором я запускаю свой код.

Крайний левый скриншот представляет изображение после применения к нему порога.

Среднее изображение представляет изображение, которое я получаю после рисования контуров.

Последнее изображение показывает, когда я изучаю каждый отдельный контур.Контур покрывает линию, но не инкапсулирует прямоугольник.

У меня есть несколько вопросов.

1) Можно ли просеять контуры для белых прямоугольников.Какие изменения я должен внести в свой код, чтобы добиться этого?

2) Я пытаюсь отсеять неважные контуры, например.слова, и я подумал, смогу ли я использовать функцию getArea (), чтобы помочь мне с этим.Идея состоит в том, что я бы установил минимальный размер контура, чтобы отфильтровать меньшие контуры, составляющие слова.

Это еще одно изображение, на котором я пытался определить «объекты» на этих снимках экрана.

Здесь я сталкиваюсь с той же проблемой, когда не могу определить белые прямоугольники.Я только определяю границы прямоугольника.

Буду признателен за любую форму помощи, так как я все еще новичок в openCv

Исходные изображения перед обработкой:

Answer 1

Нет необходимости размыть.На самом деле я делаю это сложнее.Простое определение порога лучше всего работает с жесткими переходами.Второе изображение самое простое.Есть белые предметы на сероватом фоне.Выбирая только очень белые значения, элементы выбираются.

Результат:

Код:

# load image
img = cv2.imread("app.png")
# convert to gray
img2 =  cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# crate a mask that hold only white values (above 250) 
ret,thresh1 = cv2.threshold(img2,250,255,cv2.THRESH_BINARY)
# find contours in mask
im2, contours, hierarchy = cv2.findContours(thresh1, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# select large contours (menu items only)
for cnt in contours:
    print(cv2.contourArea(cnt))
    if cv2.contourArea(cnt) > 5000:
        # draw a rectangle around the items
        x,y,w,h = cv2.boundingRect(cnt)
        cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0),3)
        #cv2.drawContours(img, [cnt], 0, (0,255,0), 3) #also works, but has issues with letters at the last item
#show image
cv2.imshow("img", img)
#cv2.imshow("mask", thresh) # shows mask
cv2.waitKey(0)
cv2.destroyAllWindows()  

Первое изображение более сложное, потому что оно разделено очень тонкой красной линией.Выбор цветов проще в цветовом пространстве HSV.Следующие красные значения используются для создания маски, некоторый шум удаляется, а затем обнаруживаются контуры.

Результат:

# load image
img = cv2.imread("app2.png")
# convert to HSV
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV) 
# set lower and upper color limits
lower_val = np.array([0,0,0])
upper_val = np.array([20,50,255])
# Threshold the HSV image 
mask = cv2.inRange(hsv, lower_val, upper_val)
# remove noise
kernel =  np.ones((1,2),np.uint8)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)
kernel =  np.ones((1,5),np.uint8)
mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
# find contours in mask
im2, contours, hierarchy = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# select large contours (menu items only)
for cnt in contours:
    print(cv2.contourArea(cnt))
    if cv2.contourArea(cnt) > 1000:
        # draw a rectangle around the items
        x,y,w,h = cv2.boundingRect(cnt)
        cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0),3)
#show image
cv2.imshow("img", img)
cv2.imshow("mask", mask) 
cv2.waitKey(0)
cv2.destroyAllWindows()