Удалите черную линию, окружающую текст в opencv

Question

Я пытаюсь удалить черные линии, окружающие текст, если они есть.Моя цель - просто получить достаточно части изображения, чтобы извлечь из него каждый символ.Дополнительные черные линии - это шум, когда я пытаюсь извлечь символы.

Я пытался использовать заливку в opencv, но изображение содержит несколько белых пикселей, прежде чем черная линия начинается в верхнем левом углу.Так что это не было плодотворным.Я попытался обрезать с помощью поиска контуров, но даже это не работает.Изображение выглядит следующим образом:

import cv2
import numpy as np

img = cv2.imread('./Cropped/22.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
_,thresh = cv2.threshold(gray,1,255,cv2.THRESH_BINARY)
contours,hierarchy = cv2.findContours(thresh,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnt = contours[0]
x,y,w,h = cv2.boundingRect(cnt)
crop = img[y:y+h,x:x+w]

cv2.imshow('Image',img)
cv2.imshow('Cropped Image',crop)
cv2.waitKey(0)

с использованием заливки

img = cv2.imread('./Cropped/22.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# threshold the gray image to binarize, and negate it
gray = cv2.bitwise_not(gray)
w = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_MEAN_C, \
                          cv2.THRESH_BINARY, 15, -2)

# find external contours of all shapes
contours,h = cv2.findContours(bw, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)

# create a mask for floodfill function, see documentation
h,w,_ = img.shape
mask = np.zeros((h+2,w+2), np.uint8)

# determine which contour belongs to a square or rectangle
for cnt in contours:
    poly = cv2.approxPolyDP(cnt, 0.02*cv2.arcLength(cnt,True),True)
    if len(poly) == 4:
        # if the contour has 4 vertices then floodfill that contour with black color
        cnt = np.vstack(cnt).squeeze()
        _,binary,_,_ = cv2.floodFill(bw, mask, tuple(cnt[0]), 0)
# convert image back to original color
binary = cv2.bitwise_not(binary)        

cv2.imshow('Image', binary)
cv2.waitKey(0)
cv2.destroyAllWindows()

Результаты в обоих случаях следующие:

Но, похоже, никаких изменений нет и

, который не удаляет никаких границ.Идеи обоих кодов были получены из ответов на переполнение стека на похожие вопросы.

EDIT

Я подошел к решению, как упомянуто в комментарии @rayryeng.Однако, когда я ввожу обрезанное изображение для извлечения чисел, я получаю эти изображения и неверный результат.Я думаю, что некоторые шумные пиксели не удаляются.Это исходное изображение Исходное изображение .Изображение с пороговым значением Изображение с пороговым значением .Извлеченные контуры имеют следующий вид: Первый контур , Второй контур , Третий контур , Четвертый контур .Если бы это было обобщенное решение, было бы здорово.

Answer 1

Обратите внимание, что черные линии занимают значительно меньшую площадь, чем сам текст.Кроме того, мы можем использовать тот факт, что текст очень тесно связаны друг с другом.Поэтому одну вещь, которую я могу предложить, это объединить текстовые капли вместе, чтобы они были одним большим.Используя тот факт, что есть один шарик вверху и один шарик внизу, как только мы определим контуры, мы должны надеяться, что у нас будет три шарика, затем выберите шарик, который имеет наибольшую площадь, и сформируйте ограничивающий прямоугольник вокруг него.

Вы можете объединить двоичные объекты с морфологическим закрытием , затем найти контуры и извлечь их области.В качестве дополнительной обработки давайте также расширяем капли, чтобы мы могли видеть больше фона текста, прежде чем обрезать.Затем выберите шарик с наибольшей площадью и кадрированием.

Обратите внимание, что мне пришлось не только портировать ваше изображение, но и выполнить обратный порог, когда черные области станут белыми и наоборот.Кроме того, мне пришлось изменить порог с 1 на 128. Установка порога 1 для 8-разрядного изображения без знака означает, что вы создаете двоичное изображение, где почти все будет белым.С такими изображениями вы должны увеличить допуск.Наконец, cv2.findContours имеет несколько разные способы вызова между OpenCV 2.4.x и OpenCV 3.x.Таким образом, есть дополнительный вывод метода, который является исходным изображением, которое вы предоставили методу, так что вы можете спокойно проигнорировать это.

import cv2
import numpy as np

img = cv2.imread('MgPg8.jpg') # Image saved offline on my computer
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
_,thresh = cv2.threshold(gray,128,255,cv2.THRESH_BINARY_INV) # Change

# Perform morphological closing
out = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, 255*np.ones((11, 11), dtype=np.uint8))
# Perform dilation to expand the borders of the text to be sure
out = cv2.dilate(thresh, 255*np.ones((11, 11), dtype=np.uint8))

# For OpenCV 3.0
_,contours,hierarchy = cv2.findContours(out,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE) # Change
# For OpenCV 2.4.x
# contours,hierarchy = cv2.findContours(out,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

# Find the area made by each contour
areas = [cv2.contourArea(c) for c in contours]

# Figure out which contour has the largest area
idx = np.argmax(areas)

# Choose that contour, then get the bounding rectangle for this contour
cnt = contours[idx]
x,y,w,h = cv2.boundingRect(cnt)

# Crop
crop = img[y:y+h,x:x+w]

cv2.imshow('Image',img)
cv2.imshow('Thresholded Image',thresh)
cv2.imshow('Closed Image',out)
cv2.imshow('Cropped', crop)
cv2.imwrite('thresh.png', thresh)
cv2.imwrite('binary.png', out)
cv2.imwrite('crop.png', crop)
cv2.waitKey(0)
cv2.destroyAllWindows()

Я получаю следующее для порогового изображения, морфологически обработанноеизображение и, наконец, обрезанное изображение: