Марокканское распознавание номерных знаков (LPR) с использованием OpenCV и Tesseract

Question

Я работаю над проектом по распознаванию марокканских номерных знаков, которые выглядят следующим образом:

Марокканские номерные знаки

Пожалуйста, как я могу использовать OpenCV, чтобы вырезать номерной знак, и Тессеракт, чтобы прочитать цифры и арабскую букву посередине.

Я изучил эту исследовательскую работу: https://www.researchgate.net/publication/323808469_Moroccan_License_Plate_recognition_using_a_hybrid_method_and_license_plate_features

IЯ установил OpenCV и Tesseract для python в Windows 10. Когда я запускаю tesseract на тексте только части номерного знака, используя язык "fra", я получаю 7714315l Bv.Как мне отделить данные?

Редактировать: Арабские буквы, которые мы используем в Марокко: أ ب ت ج ح د هـ Ожидаемый результат: 77143 د 6 Вертикальные линии не имеют значенияЯ должен использовать их для разделения изображения и чтения данных отдельно.

Заранее спасибо!

Answer 1

Это то, чего я достиг к настоящему времени ...

Обнаружение на втором изображении было выполнено с использованием кода, найденного здесь: Обнаружение номерного знака с OpenCV и Python

Полный код (который работает с третьим изображением):

import cv2
import numpy as np
import tesserocr as tr
from PIL import Image

image = cv2.imread("cropped.png")

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv2.imshow('gray', image)

thresh = cv2.adaptiveThreshold(gray, 250, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 255, 1)
cv2.imshow('thresh', thresh)

kernel = np.ones((1, 1), np.uint8)
img_dilation = cv2.dilate(thresh, kernel, iterations=1)

im2, ctrs, hier = cv2.findContours(img_dilation.copy(), cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

sorted_ctrs = sorted(ctrs, key=lambda ctr: cv2.boundingRect(ctr)[0])

clean_plate = 255 * np.ones_like(img_dilation)

for i, ctr in enumerate(sorted_ctrs):
    x, y, w, h = cv2.boundingRect(ctr)

    roi = img_dilation[y:y + h, x:x + w]

    # these are very specific values made for this image only - it's not a factotum code
    if h > 70 and w > 100:
        rect = cv2.rectangle(image, (x, y), (x + w, y + h), (0, 255, 0), 2)

        clean_plate[y:y + h, x:x + w] = roi
        cv2.imshow('ROI', rect)

        cv2.imwrite('roi.png', roi)

img = cv2.imread("roi.png")

blur = cv2.medianBlur(img, 1)
cv2.imshow('4 - blur', blur)

pil_img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))

api = tr.PyTessBaseAPI()

try:
    api.SetImage(pil_img)
    boxes = api.GetComponentImages(tr.RIL.TEXTLINE, True)
    text = api.GetUTF8Text()

finally:
    api.End()

# clean the string a bit
text = str(text).strip()

plate = ""

# 77143-1916 ---> NNNNN|symbol|N
for char in text:
    firstSection = text[:5]

    # the arabic symbol is easy because it's nearly impossible for the OCR to misunderstood the last 2 digit
    # so we have that the symbol is always the third char from the end (right to left)
    symbol = text[-3]

    lastChar = text[-1]

    plate = firstSection + "[" + symbol + "]" + lastChar

print(plate)
cv2.waitKey(0)

Для арабских символов вы должны установить дополнительные языки из TesseractOCR (и, возможно, использовать его версию 4).

Вывод: 77143[9]6

Число в скобках - это арабский символ (незамеченный).

Надеюсь, я вам помог.

Answer 2

Вы можете использовать HoughTransform , поскольку две вертикальные линии не имеют значения, чтобы обрезать изображение:

import numpy as np
import cv2

image = cv2.imread("lines.jpg")
grayImage = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

dst = cv2.Canny(grayImage, 0, 150)
cv2.imwrite("canny.jpg", dst)

lines = cv2.HoughLinesP(dst, 1, np.pi / 180, 50, None, 60, 20)

lines_x = []
# Get height and width to constrain detected lines
height, width, channels = image.shape
for i in range(0, len(lines)):
    l = lines[i][0]
    # Check if the lines are vertical or not
    angle = np.arctan2(l[3] - l[1], l[2] - l[0]) * 180.0 / np.pi
    if (l[2] > width / 4) and (l[0] > width / 4) and (70 < angle < 100):
        lines_x.append(l[2])
        # To draw the detected lines
        #cv2.line(image, (l[0], l[1]), (l[2], l[3]), (0, 0, 255), 3, cv2.LINE_AA)

#cv2.imwrite("lines_found.jpg", image)
# Sorting to get the line with the maximum x-coordinate for proper cropping
lines_x.sort(reverse=True)
crop_image = "cropped_lines"
for i in range(0, len(lines_x)):
    if i == 0:
        # Cropping to the end
        img = image[0:height, lines_x[i]:width]
    else:
        # Cropping from the start
        img = image[0:height, 0:lines_x[i]]
    cv2.imwrite(crop_image + str(i) + ".jpg", img)

Я уверен, что теперь вы знаете, как получить среднюю часть;) Надеюсь, это поможет!

РЕДАКТИРОВАТЬ :

Используя некоторые морфологические операции, вы также можете извлечь символы по отдельности:

import numpy as np
import cv2

image = cv2.imread("lines.jpg")
grayImage = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

dst = cv2.Canny(grayImage, 50, 100)

dst = cv2.morphologyEx(dst, cv2.MORPH_RECT, np.zeros((5,5), np.uint8), 
                       iterations=1)
cv2.imwrite("canny.jpg", dst)

im2, contours, heirarchy = cv2.findContours(dst, cv2.RETR_EXTERNAL, 
                                            cv2.CHAIN_APPROX_NONE)

for i in range(0, len(contours)):
    if cv2.contourArea(contours[i]) > 200:
        x,y,w,h = cv2.boundingRect(contours[i])
        # The w constrain to remove the vertical lines
        if w > 10:
            cv2.rectangle(image, (x, y), (x+w, y+h), (0, 0, 255), 1)
            cv2.imwrite("contour.jpg", image)

Результат: