Как получить свойства региона из изображения, которое уже помечено в OpenCV?

Question

Я маркирую изображения, используя алгоритм водораздела в OpenCV (аналогично этому учебнику: https://docs.opencv.org/3.4/d3/db4/tutorial_py_watershed.html), так что в конце я получаю массив меток, где у каждого региона есть целочисленное значение, соответствующее его метке. Теперь,Я хочу получить координаты ограничительных рамок и областей каждого региона.

Я знаю, что это легко сделать с помощью skimage.measure.regionprops(), но из соображений скорости выполнения я хотел бы добиться этого без импорта скимагов, в идеаленепосредственно с OpenCV.

Я пытался использовать cv2.connectedComponentsWithStats(), но, похоже, он работает, только если изображение является двоичным, а метки уже определены.

Я пытался преобразовать в двоичную форму помеченное изображениеи затем пометить его как connectedComponentsWithStats() следующим образом (обратите внимание, что фон имеет метку 1 в этом случае, и я хочу удалить его):

segmented = cv2.watershed(image.astype('uint8'), markers)

segmented_bin = segmented.copy()
segmented_bin[segmented < 2] = 0
segmented_bin[segmented > 1] = 255
num_labels, label_image, stats, centroids = cv2.connectedComponentsWithStats(segmented_bin.astype('uint8'), 4, cv2.CV_32S)

Но этот подход объединяет области, которые не разделеныфон, который не является желаемым эффектом.

По сути, я хотел бы знать, есть ли функция, похожая на connectedComponentsWithStats() что касается уже помеченных изображений?

Answer 1

Поскольку (если я не ошибаюсь) каждая метка представляет собой непрерывную область, мы можем просто перебрать все не фоновые метки.

for i in range(2, marker_count + 1):

Для каждой метки мы можем создать соответствующую двоичную маску (пиксели с этой меткой становятся 255, все остальное становится 0), используя numpy.where.

    mask = np.where(segmented==i, np.uint8(255), np.uint8(0))

Поскольку cv2.boundingRect также может обрабатывать одноканальные изображения, мы можем использовать его для определения ограничивающего прямоугольника непосредственно из маски.

    x,y,w,h = cv2.boundingRect(mask)

Область метки - это просто количество пикселей с данной меткой (то есть все ненулевые пиксели в маске). Мы можем просто использовать cv2.countNonZero для этого. Поскольку мы уже знаем ограничивающую рамку, мы можем сохранить некоторую работу, обработав только соответствующий ROI.

    area = cv2.countNonZero(mask[y:y+h,x:x+w])

И мы закончили.

    print "Label %d at (%d, %d) size (%d x %d) area %d pixels" % (i,x,y,w,h,area)

---

Консольный вывод

Label 2 at (41, 14) size (47 x 49) area 1747 pixels
Label 3 at (111, 30) size (48 x 47) area 1719 pixels
Label 4 at (71, 51) size (56 x 48) area 1716 pixels
Label 5 at (152, 61) size (48 x 47) area 1676 pixels
Label 6 at (25, 75) size (47 x 48) area 1719 pixels
Label 7 at (109, 76) size (49 x 49) area 1748 pixels
Label 8 at (192, 82) size (49 x 48) area 1774 pixels
Label 9 at (64, 97) size (48 x 49) area 1695 pixels
Label 10 at (1, 114) size (47 x 48) area 1720 pixels
Label 11 at (139, 114) size (52 x 48) area 1727 pixels
Label 12 at (97, 132) size (48 x 48) area 1745 pixels
Label 13 at (181, 133) size (48 x 47) area 1667 pixels
Label 14 at (41, 140) size (47 x 48) area 1733 pixels
Label 15 at (129, 167) size (45 x 47) area 1666 pixels
Label 16 at (5, 169) size (50 x 48) area 1713 pixels
Label 17 at (72, 176) size (46 x 48) area 1745 pixels
Label 18 at (171, 177) size (50 x 49) area 1772 pixels
Label 19 at (35, 205) size (46 x 47) area 1702 pixels
Label 20 at (106, 207) size (55 x 49) area 1909 pixels
Label 21 at (155, 219) size (43 x 47) area 1537 pixels
Label 22 at (65, 237) size (51 x 48) area 1713 pixels
Label 23 at (25, 251) size (50 x 49) area 1818 pixels
Label 24 at (108, 264) size (48 x 47) area 1730 pixels
Label 25 at (155, 264) size (46 x 47) area 1711 pixels

---

Изображения

• Input
  
• Цветные метки
  
• Ограничительные рамки с маркировкой
  

---

Полный скрипт

import numpy as np
import cv2

# START of original watershed example
# from https://docs.opencv.org/3.4/d3/db4/tutorial_py_watershed.html

img = cv2.imread('water_coins.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)

# noise removal
kernel = np.ones((3,3),np.uint8)
opening = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel, iterations = 2)
# sure background area
sure_bg = cv2.dilate(opening,kernel,iterations=3)
# Finding sure foreground area
dist_transform = cv2.distanceTransform(opening,cv2.DIST_L2,5)
ret, sure_fg = cv2.threshold(dist_transform,0.7*dist_transform.max(),255,0)
# Finding unknown region
sure_fg = np.uint8(sure_fg)
unknown = cv2.subtract(sure_bg,sure_fg)

# Marker labelling
marker_count, markers = cv2.connectedComponents(sure_fg)
# Add one to all labels so that sure background is not 0, but 1
markers = markers+1
# Now, mark the region of unknown with zero
markers[unknown==255] = 0

segmented = cv2.watershed(img,markers)

# END of original watershed example

output = np.zeros_like(img)
output2 = img.copy()

# Iterate over all non-background labels
for i in range(2, marker_count + 1):
    mask = np.where(segmented==i, np.uint8(255), np.uint8(0))
    x,y,w,h = cv2.boundingRect(mask)
    area = cv2.countNonZero(mask[y:y+h,x:x+w])
    print "Label %d at (%d, %d) size (%d x %d) area %d pixels" % (i,x,y,w,h,area)

    # Visualize
    color = np.uint8(np.random.random_integers(0, 255, 3)).tolist()
    output[mask!=0] = color
    cv2.rectangle(output2, (x,y), (x+w,y+h), color, 1)
    cv2.putText(output2,'%d'%i,(x+w/4, y+h/2), cv2.FONT_HERSHEY_SIMPLEX, 0.4, color, 1, cv2.LINE_AA)

cv2.imwrite('wshseg_colors.png', output)
cv2.imwrite('wshseg_boxes.png', output2)

Answer 2

Если кому-то еще интересно, я вернулась к skimage.measure.regionprops(), так как не смогла получить cv2.connectedComponentsWithStats().Затраты времени составляют только десятки миллисекунд на изображение.