Распознавать отдельные символы на странице с помощью Tesseract - PullRequest
Новая
       103

Распознавать отдельные символы на странице с помощью Tesseract

2 голосов
/ 05 февраля 2020

enter image description here

это изображение возвращает пустую строку;

в основном я пытаюсь создать бота для игры WOW, но я действительно новичок в этом OCR предмет. Я не могу заставить Тессеракт читать это изображение; Мне нужен неупорядоченный список символов и, если возможно, координаты каждого квадрата, содержащего их. Есть ли еще способ сделать это?

Спасибо за ваше время!

вот мой код: 

from PIL import Image
import cv2
from pytesseract import image_to_string

column = Image.open('photo.png')
gray = column.convert('L')
blackwhite = gray.point(lambda x: 255 if x < 200 else 0, '1')
blackwhite.save("code_bw.jpg")


print(image_to_string(cv2.imread("code_bw.jpg")))

1 Ответ

1 голос
/ 05 февраля 2020

Вам необходимо выполнить некоторую предварительную обработку, чтобы изолировать текстовые символы. Простой подход к порогу Оцу для получения двоичного изображения, тогда мы можем найти контуры и отфильтровать, используя соотношение сторон + площадь контура. Это даст нам координаты рамки текста, где мы можем нарисовать это на маске. Мы поразрядно - и маска с входным изображением, чтобы получить наше очищенное изображение, затем бросаем его в OCR. Вот результат:

Обнаруженные текстовые символы

enter image description here

Результат

enter image description here

Результат от OCR 

A
A R
P

Код 

import cv2
import pytesseract
import numpy as np

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

# Load image, grayscale, Otsu's threshold
image = cv2.imread('1.jpg')
original = image.copy()
mask = np.zeros(image.shape, dtype=np.uint8) 
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Find contours and filter using aspect ratio and area
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    area = cv2.contourArea(c)
    x,y,w,h = cv2.boundingRect(c)
    ar = w / float(h)
    if area > 1000 and ar > .85 and ar < 1.2:
        cv2.rectangle(image, (x, y), (x + w, y + h), (36,255,12), 2)
        cv2.rectangle(mask, (x, y), (x + w, y + h), (255,255,255), -1)
        ROI = original[y:y+h, x:x+w]

# Bitwise-and to isolate characters 
result = cv2.bitwise_and(original, mask)
result[mask==0] = 255

# OCR
data = pytesseract.image_to_string(result, lang='eng',config='--psm 6')
print(data)

cv2.imshow('image', image)
cv2.imshow('thresh', thresh)
cv2.imshow('result', result)
cv2.waitKey()
...