Как обнаружить двери и окна по изображению в плане этажа?

Question

Я работаю над анализом плана этажа, где я хочу определить количество дверей и окон на изображениях плана этажа.Как я могу осуществить это с помощью OpenCV в Python?

Я уже пробовал обнаруживать стены на изображениях, и ниже приведен код для того же.

img_bw = 255*(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) > 20).astype('uint8')

se1 = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3))
se2 = cv2.getStructuringElement(cv2.MORPH_RECT, (1,1))
mask = cv2.morphologyEx(img_bw, cv2.MORPH_CLOSE, se1)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, se2)

mask = np.dstack([mask, mask, mask]) / 255
out = img * mask
plt.figure(figsize=(15,10))
plt.imshow(out, cmap="gray")

Теперь я хочу извлечьколичество дверей и окон (возможно, в формате CSV или XML).

Answer 1

Я сейчас работаю над похожим проектом. Вы могли бы абсолютно обучить нейронную сеть или SVM. Но я думаю, что вы можете решить эту проблему, используя вместо этого несколько фильтров и сэкономить время.

В моем проекте я сделал именно это, но для меньших планов этажей, чем ваш примерный план этажа выше. Так что, если вы просто скопируете некоторый код из моего репо и измените пороги, это должно сработать.

На изображении ниже показан текущий результат обнаружения моего проекта на вашем примере плана этажа:

Объяснение цвета: MarineBlue - Outercontour, Синий - стены, Желтый - Номера (фильтр больших деталей), Зеленый - такие детали, как окна, двери, комнаты меньшего размера (меньший фильтр)

Ссылка на код для создания изображения: План этажа в Blender3d Этот проект находится в стадии разработки.