Невозможно использовать sort_contors для построения OCR с семью сегментами

Question

Я пытаюсь построить OCR для распознавания семисегментного дисплея, как указано ниже

Используя инструменты предварительной обработки открытого CV, я получил его здесь

Сейчас я пытаюсь следовать этому уроку - https://www.pyimagesearch.com/2017/02/13/recognizing-digits-with-opencv-and-python/

Но со стороны

digitCnts = contours.sort_contours(digitCnts,
    method="left-to-right")[0]
digits = []

Я получаю сообщение об ошибке как -

Ошибка устраняется с помощью THRESH_BINARY_INV, но распознавание не работает, исправление будет отличным

File "/ Users/ms/anaconda3/lib/python3.6/site-packages/imutils/contours.py ", строка 25, в ключе sort_contours = lambda b: b 1 [i], reverse = reverse))

ValueError: недостаточно значений для распаковки (ожидается 2, получено 0)

Любая идея, как решить эту проблему и сделать мой OCR работающей моделью

Весь мой код:

import numpy as np 
import cv2
import imutils
# import the necessary packages
from imutils.perspective import four_point_transform
from imutils import contours
import imutils
import cv2

# define the dictionary of digit segments so we can identify
# each digit on the thermostat
DIGITS_LOOKUP = {
    (1, 1, 1, 0, 1, 1, 1): 0,
    (0, 0, 1, 0, 0, 1, 0): 1,
    (1, 0, 1, 1, 1, 1, 0): 2,
    (1, 0, 1, 1, 0, 1, 1): 3,
    (0, 1, 1, 1, 0, 1, 0): 4,
    (1, 1, 0, 1, 0, 1, 1): 5,
    (1, 1, 0, 1, 1, 1, 1): 6,
    (1, 0, 1, 0, 0, 1, 0): 7,
    (1, 1, 1, 1, 1, 1, 1): 8,
    (1, 1, 1, 1, 0, 1, 1): 9
}

# load image
image = cv2.imread('d4.jpg')
# create hsv
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)

 # set lower and upper color limits
low_val = (60,180,160)
high_val = (179,255,255)
# Threshold the HSV image 
mask = cv2.inRange(hsv, low_val,high_val)
# find contours in mask
ret, cont, hierarchy = cv2.findContours(mask,cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# select the largest contour
largest_area = 0
for cnt in cont:
    if cv2.contourArea(cnt) > largest_area:
        cont = cnt
        largest_area = cv2.contourArea(cnt)

# get the parameters of the boundingbox
x,y,w,h = cv2.boundingRect(cont)

# create and show subimage
roi = image[y:y+h, x:x+w]
cv2.imshow("Result", roi)


#  draw box on original image and show image
cv2.rectangle(image, (x,y),(x+w,y+h), (0,0,255),2)
cv2.imshow("Image", image)

grayscaled = cv2.cvtColor(roi,cv2.COLOR_BGR2GRAY)
retval, threshold = cv2.threshold(grayscaled, 10, 255, cv2.THRESH_BINARY)
retval2,threshold2 = cv2.threshold(grayscaled,125,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)
cv2.imshow('threshold',threshold2)
cv2.waitKey(0)
cv2.destroyAllWindows()
# find contours in the thresholded image, then initialize the
# digit contours lists
cnts = cv2.findContours(threshold2.copy(), cv2.RETR_EXTERNAL,
    cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
digitCnts = []

# loop over the digit area candidates
for c in cnts:
    # compute the bounding box of the contour
    (x, y, w, h) = cv2.boundingRect(c)
    # if the contour is sufficiently large, it must be a digit
    if w >= 15 and (h >= 30 and h <= 40):
        digitCnts.append(c)
# sort the contours from left-to-right, then initialize the
# actual digits themselves
digitCnts = contours.sort_contours(digitCnts,
    method="left-to-right")[0]
digits = []


# loop over each of the digits
for c in digitCnts:
    # extract the digit ROI
    (x, y, w, h) = cv2.boundingRect(c)
    roi = thresh[y:y + h, x:x + w]

    # compute the width and height of each of the 7 segments
    # we are going to examine
    (roiH, roiW) = roi.shape
    (dW, dH) = (int(roiW * 0.25), int(roiH * 0.15))
    dHC = int(roiH * 0.05)

    # define the set of 7 segments
    segments = [
        ((0, 0), (w, dH)),  # top
        ((0, 0), (dW, h // 2)), # top-left
        ((w - dW, 0), (w, h // 2)), # top-right
        ((0, (h // 2) - dHC) , (w, (h // 2) + dHC)), # center
        ((0, h // 2), (dW, h)), # bottom-left
        ((w - dW, h // 2), (w, h)), # bottom-right
        ((0, h - dH), (w, h))   # bottom
    ]
    on = [0] * len(segments)

    # loop over the segments
    for (i, ((xA, yA), (xB, yB))) in enumerate(segments):
        # extract the segment ROI, count the total number of
        # thresholded pixels in the segment, and then compute
        # the area of the segment
        segROI = roi[yA:yB, xA:xB]
        total = cv2.countNonZero(segROI)
        area = (xB - xA) * (yB - yA)

        # if the total number of non-zero pixels is greater than
        # 50% of the area, mark the segment as "on"
        if total / float(area) > 0.5:
            on[i]= 1

    # lookup the digit and draw it on the image
    digit = DIGITS_LOOKUP[tuple(on)]
    digits.append(digit)
    cv2.rectangle(output, (x, y), (x + w, y + h), (0, 255, 0), 1)
    cv2.putText(output, str(digit), (x - 10, y - 10),
        cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 255, 0), 2)
# display the digits
print(u"{}{}.{}{}.{}{} \u00b0C".format(*digits))
cv2.imshow("Input", image)
cv2.imshow("Output", output)
cv2.waitKey(0)

Поможет исправить мой OCR

Answer 1

Итак, как я сказал в комментариях, было две проблемы:

1. Вы пытались найти черные контуры на белом фон, противоположный документации OpenCV .Это было решено с помощью THRESH_BINARY_INV флага вместо THRESH_BINARY .

2. Из-за не подключенных номеров a full контур числа не найден.Поэтому я попробовал некоторые морфологические операции.Ниже приведены шаги:

2a) Открытие на изображении выше со следующим кодом:

threshold2 = cv2.morphologyEx(threshold, cv2.MORPH_OPEN, np.ones((3,3), np.uint8))

2b) Расширение на предыдущем изображении:

threshold2 = cv2.dilate(threshold2, np.ones((5,1), np.uint8), iterations=1)

2c) Обрежьте верхнюю часть изображения, чтобы разделить числа из-за расширения в верхнюю границу:

height, width = threshold2.shape[:2]
threshold2 = threshold2[5:height,5:width]

Примечание Каким-то образом изображения отображаются здесь без белой границы, как у меня.говоря о.Попробуйте открыть изображение в новом окне, и вы поймете, что я имею в виду.

Итак, после решения этих проблем контуры были довольно хорошими икак они были должны быть как видно здесь:

cnts = cv2.findContours(threshold2.copy(), cv2.RETR_EXTERNAL,
                        cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)

digitCnts = []

# loop over the digit area candidates
for c in cnts:
    # compute the bounding box of the contour
    (x, y, w, h) = cv2.boundingRect(c)
    # if the contour is sufficiently large, it must be a digit
    if w <= width * 0.5 and (h >= height * 0.2):
        digitCnts.append(c)
# sort the contours from left-to-right, then initialize the
# actual digits themselves
cv2.drawContours(image2, digitCnts, -1, (0, 0, 255))
cv2.imwrite("cnts-sort.jpg", image2)

Как вы можете видеть ниже, контуры рисуются красным.

Теперь, чтобы оценить, является ли цифра кодом или нет, эта часть почему-то не работает, и я виню в этом справочную таблицу.Как видно из рисунков ниже, ограничивающие строки для всех чисел правильно обрезаны, но таблица поиска не может их распознать.

# loop over each of the digits
j = 0
for c in digitCnts:
    # extract the digit ROI
    (x, y, w, h) = cv2.boundingRect(c)
    roi = threshold2[y:y + h, x:x + w]
    cv2.imwrite("roi" + str(j) + ".jpg", roi)
    j += 1

    # compute the width and height of each of the 7 segments
    # we are going to examine
    (roiH, roiW) = roi.shape
    (dW, dH) = (int(roiW * 0.25), int(roiH * 0.15))
    dHC = int(roiH * 0.05)

    # define the set of 7 segments
    segments = [
        ((0, 0), (w, dH)),  # top
        ((0, 0), (dW, h // 2)), # top-left
        ((w - dW, 0), (w, h // 2)), # top-right
        ((0, (h // 2) - dHC) , (w, (h // 2) + dHC)), # center
        ((0, h // 2), (dW, h)), # bottom-left
        ((w - dW, h // 2), (w, h)), # bottom-right
        ((0, h - dH), (w, h))   # bottom
    ]
    on = [0] * len(segments)

    # loop over the segments
    for (i, ((xA, yA), (xB, yB))) in enumerate(segments):
        # extract the segment ROI, count the total number of
        # thresholded pixels in the segment, and then compute
        # the area of the segment
        segROI = roi[yA:yB, xA:xB]
        total = cv2.countNonZero(segROI)
        area = (xB - xA) * (yB - yA)

        # if the total number of non-zero pixels is greater than
        # 50% of the area, mark the segment as "on"
        if area != 0:
            if total / float(area) > 0.5:
                on[i] = 1

    # lookup the digit and draw it on the image
    try:
        digit = DIGITS_LOOKUP[tuple(on)]
        digits.append(digit)
        cv2.rectangle(roi, (x, y), (x + w, y + h), (0, 255, 0), 1)
        cv2.putText(roi, str(digit), (x - 10, y - 10),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 255, 0), 2)
    except KeyError:
        continue

Я прочитал сайт , который вы упомянули в вопросе , и из комментариев кажется, что некоторые записи в LUT могут быть неправильными.Поэтому я оставлю это вам, чтобы понять это.Ниже приведены найденные (но не распознанные) отдельные цифры:

В качестве альтернативы вы можете использовать тессеракт вместо распознавать эти обнаружены цифры.

Надеюсь, это поможет!

Answer 2

Я думаю, что созданная вами справочная таблица предназначена для seven-digit display, а не для seven-digit OCR.Что касается размера дисплея фиксированного, я думаю, что вы можете попробовать разбить его на отдельные области и распознать, используя template-matching или k-means.

Это мои предварительно обработанные шаги:

(1) Найти светло-зеленый дисплей в HSV

mask = cv2.inRange(hsv, (50, 100, 180), (70, 255, 255))

(2) попытаться отделиться, проецируя и распознавая стандартные семизначные числа, используя LUT:

(3) примерить обнаруженный зеленый дисплей