Как работать со шрифтами кредитных карт с помощью OpenCV и Tesseract в Python

Question

Я пытаюсь прочитать карточки и номера карт вывода и дату истечения срока действия с OpenCV.

import cv2
import pytesseract

filename = 'image1.png'
img = cv2.imread(filename)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
canny = cv2.Canny(gray, 50, 150, apertureSize=3)
result = pytesseract.image_to_string(canny)
print(f"OCR Results: {result}")

cv2.imshow('img', img)
cv2.imshow('canny', canny)

if cv2.waitKey(0) & 0xff == 27:
    cv2.destroyAllWindows()

1. Изображение перед обработкой

Изображение после Канни

Текст результата выглядит не очень хорошо. Смотрите скриншот ниже:

Вопрос: Как правильно обрабатывать шрифты карточек для достижения наилучших результатов. Любая идея высоко ценится.

Спасибо.

Answer 1

Похоже, что распознавание текста работает плохо при прохождении краев текста.
Лучше применять порог вместо использования Canny.

Я предлагаю следующие этапы:

• Преобразование из цветового пространства BGR в HSV и получение цветового канала S (насыщенности) HSV.
  Все серые пиксели в S имеют вид ноль, а цветные пиксели выше нуля.
• Преобразование в двоичный файл с использованием автоматического значения c (используйте cv2.THRESH_OTSU).
• Обрезать контур с максимальным размером.
  Поскольку изображение, которое вы разместили, содержит некоторый фон.
• Нанесите OCR на обрезанную область.

Вот код:

import numpy as np
import cv2
import imutils  # https://pypi.org/project/imutils/
import pytesseract

pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'  # I am using Windows

img = cv2.imread('image1.png')  # Read input image

# Convert from BGR to HSV color space
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# Get the saturation color channel - all gray pixels are zero, and colored pixels are above zero.
s = hsv[:, :, 1]

# Convert to binary using automatic threshold (use cv2.THRESH_OTSU)
ret, thresh = cv2.threshold(s, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)

# Find contours (in inverted thresh)
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
cnts = imutils.grab_contours(cnts)

# Find the contour with the maximum area.
c = max(cnts, key=cv2.contourArea)

# Get bounding rectangle
x, y, w, h = cv2.boundingRect(c)

# Crop the bounding rectangle out of thresh
thresh_card = thresh[y:y+h, x:x+w].copy()

# OCR
result = pytesseract.image_to_string(thresh_card)
print(f"OCR Results:\n {result}")


# Show images for debugging
cv2.imshow('s', s)
cv2.imshow('thresh', thresh)
cv2.imshow('thresh_card', thresh_card)
cv2.waitKey(0)
cv2.destroyAllWindows()

---

OCR Результат:

 Visa Classic

| By)

4000 1234 Sb18 9010

CARDHOLDER MARE
VISA

Все еще не идеально ...

---

с:

трех sh:

thresh_card: