Как обнаружить текст на рентгеновском изображении с OpenCV

Question

Я хочу обнаружить текст на рентгеновских изображениях. Цель состоит в том, чтобы извлечь ориентированные ограничивающие рамки в виде матрицы, где каждая строка является обнаруженным ограничивающим прямоугольником, и каждая строка содержит координаты всех четырех ребер, т.е. [x1, x2, y1, y2]. Я использую python 3 и OpenCV 4.2.0.

Вот пример изображения:

Строка " должны быть обнаружены тестовые слова "," a "и" b ".

Я следовал этому уроку OpenCV о создании повернутых рамок для контуров , и этот ответ на стеке потока о обнаружении текстовой области в изображении .

Получившиеся граничные блоки должны выглядеть примерно так:

Мне удалось обнаружить текст, но результат включал много ящиков без текста.

Вот что я пробовал до сих пор:

img = cv2.imread(file_name)

## Open the image, convert it into grayscale and blur it to get rid of the noise.
img2gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)
ret, mask = cv2.threshold(img2gray, 180, 255, cv2.THRESH_BINARY)
image_final = cv2.bitwise_and(img2gray, img2gray, mask=mask)
ret, new_img = cv2.threshold(image_final, 180, 255, cv2.THRESH_BINARY)  # for black text , cv.THRESH_BINARY_INV


kernel = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
dilated = cv2.dilate(new_img, kernel, iterations=6)

canny_output = cv2.Canny(dilated, 100, 100 * 2)
cv2.imshow('Canny', canny_output)

## Finds contours and saves them to the vectors contour and hierarchy.
contours, hierarchy = cv2.findContours(canny_output, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

# Find the rotated rectangles and ellipses for each contour
minRect = [None] * len(contours)
for i, c in enumerate(contours):
    minRect[i] = cv2.minAreaRect(c)
# Draw contours + rotated rects + ellipses

drawing = np.zeros((canny_output.shape[0], canny_output.shape[1], 3), dtype=np.uint8)

for i, c in enumerate(contours):
    color = (255, 0, 255)
    # contour
    cv2.drawContours(drawing, contours, i, color)

    # rotated rectangle
    box = cv2.boxPoints(minRect[i])
    box = np.intp(box)  # np.intp: Integer used for indexing (same as C ssize_t; normally either int32 or int64)
    cv2.drawContours(img, [box], 0, color)

cv2.imshow('Result', img)
cv2.waitKey()

Нужно ли запускать результаты через OCR, чтобы убедиться, текст это или нет? Какие еще подходы мне стоит попробовать?

PS: Я совсем новичок в компьютерном зрении и пока не знаком с большинством концепций.

Answer 1

Вот простой подход:

1. Получение двоичного изображения. Загрузка изображения, создание пустой маски, преобразование в оттенки серого , Размытие по Гауссу , затем Порог Оцу

2. Объединить текст в один контур. Поскольку мы хотим извлечь текст как один фрагмент , мы выполняем морфологические операции , чтобы соединить отдельные текстовые контуры в один контур.

3. Извлечение текста. Мы находим контуры , затем фильтруем, используя область контура с помощью cv2.contourArea и соотношение сторон с помощью cv2.arcLength + cv2.approxPolyDP. Если контур проходит через фильтр, мы находим повернутый ограничивающий прямоугольник и рисуем его на нашей маске.

4. Изолировать текст. Мы выполняем cv2.bitwise_and операция по извлечению текста.

---

Вот визуализация процесса. Использование этого снимка экрана со скриншотами (поскольку ваше входное изображение было подключено как одно изображение):

Входное изображение -> Двоичное изображение

Morph закрыть -> Обнаруженный текст

Изолированный текст

Результаты с другим изображением

Входное изображение -> Двоичное изображение + морфизирование закрытия

Обнаруженный текст -> Изолированный текст

код

import cv2
import numpy as np

# Load image, create mask, grayscale, Gaussian blur, Otsu's threshold
image = cv2.imread('1.png')
original = image.copy() 
blank = np.zeros(image.shape[:2], dtype=np.uint8)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (5,5), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]

# Merge text into a single contour
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
close = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel, iterations=3)

# Find contours
cnts = cv2.findContours(close, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    # Filter using contour area and aspect ratio
    x,y,w,h = cv2.boundingRect(c)
    area = cv2.contourArea(c)
    ar = w / float(h)
    if (ar > 1.4 and ar < 4) or ar < .85 and area > 10 and area < 500:
        # Find rotated bounding box
        rect = cv2.minAreaRect(c)
        box = cv2.boxPoints(rect)
        box = np.int0(box)
        cv2.drawContours(image,[box],0,(36,255,12),2)
        cv2.drawContours(blank,[box],0,(255,255,255),-1)

# Bitwise operations to isolate text
extract = cv2.bitwise_and(thresh, blank)
extract = cv2.bitwise_and(original, original, mask=extract)

cv2.imshow('thresh', thresh)
cv2.imshow('image', image)
cv2.imshow('close', close)
cv2.imshow('extract', extract)
cv2.waitKey()

Answer 2

Я удалил текст, используя следующую команду (после кода выше):

gray2 = cv2.cvtColor(extract, cv2.COLOR_BGR2GRAY)
blur2 = cv2.GaussianBlur(gray2, (5,5), 0)
thresh2 = cv2.threshold(blur2, 0, 255, cv2.THRESH_BINARY)[1]
test = cv2.inpaint(original, thresh2, 7, cv2.INPAINT_TELEA)