Удалить текстовые поля для OCR с OpenCV - PullRequest
Новая
       28

Удалить текстовые поля для OCR с OpenCV

2 голосов
/ 25 февраля 2020

Я пытаюсь запустить OCR (используя Google Tesseract) для документа в следующем формате:

enter image description here

Однако Tesseract предполагает короткие бары между ними должны быть буквы / цифры (l или i или 1).

В качестве меры предварительной обработки я попытался удалить вертикальные и горизонтальные линии, используя следующий код: 

import cv2

from pdf2image import convert_from_path

pages = convert_from_path('..\\app\\1.pdf', 500)
for page in pages:
    page.save('..\\app\\out.jpg', 'JPEG')

image = cv2.imread('out.jpg')
result = image.copy()
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Remove horizontal lines
horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40,1))
remove_horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2)
cnts = cv2.findContours(remove_horizontal, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (255,255,255), 5)

# Remove vertical lines
vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,40))
remove_vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2)
cnts = cv2.findContours(remove_vertical, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (255,255,255), 5)

cv2.imshow('thresh', thresh)
cv2.imshow('result', result)
cv2.imwrite('result.png', result)
cv2.waitKey()

I столкнуться с проблемой, при которой выходные данные этого документа удаляют большинство вертикальных и горизонтальных линий в документе, даже начало и конечную линию sh слева и справа на изображении ниже, но не между маленькими полосами между ними.

Мне интересно, если я поступаю неправильно, пытаясь предварительно обработать и удалить строки. Есть ли лучший способ предварительной обработки или другой способ решения этой проблемы?

1 Ответ

2 голосов
/ 26 февраля 2020

Учитывая, что поля формы отделены от символов, вы можете просто фильтровать, используя область контура, чтобы изолировать текстовые символы. Идея состоит в том, чтобы размытие по Гауссу , затем порог Оцу для получения двоичного изображения. Отсюда мы находим контуры и фильтруем, используя область контура с некоторым заранее заданным пороговым значением. Мы можем эффективно удалить линии, рисуя контуры с помощью cv2.drawContours.

Двоичное изображение

enter image description here

Удаленные строки

enter image description here

Инвертирование готово к распознаванию

enter image description here

Результат распознавания с использованием Pytesseract 

HELLO

Код 

import cv2
import pytesseract

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

# Load image, grayscale, blur, Otsu's threshold
image = cv2.imread('1.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (3,3), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Find contours and filter using contour area
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    area = cv2.contourArea(c)
    if area > 500:
        cv2.drawContours(thresh, [c], -1, 0, -1)

# Invert image and OCR
invert = 255 - thresh
data = pytesseract.image_to_string(invert, lang='eng',config='--psm 6')
print(data)

cv2.imshow('thresh', thresh)
cv2.imshow('invert', invert)
cv2.waitKey()

Примечание: Если вы все еще хотите go с подходом удаления горизонтальных / вертикальных линий, вам нужно изменить размер ядра по вертикали. Например, измените (1,40) на (1,10). Это поможет удалить меньшие строки, но также может удалить некоторые вертикальные строки в тексте, например, L.

...