Как надежно определить 4 угла штрих-кода?

Question

Я пытаюсь обнаружить этот Code128 штрих-код с модулем Python + zbar:

(ссылка для загрузки изображения здесь ).

Это работает:

import cv2, numpy
import zbar
from PIL import Image 
import matplotlib.pyplot as plt

scanner = zbar.ImageScanner()
pil = Image.open("000.jpg").convert('L')
width, height = pil.size    
plt.imshow(pil); plt.show()
image = zbar.Image(width, height, 'Y800', pil.tobytes())
result = scanner.scan(image)

for symbol in image:
    print symbol.data, symbol.type, symbol.quality, symbol.location, symbol.count, symbol.orientation

, но обнаружена только одна точка: (596, 210).

Если я применяю черно-белый порог:

pil = Image.open("000.jpg").convert('L')
pil = pil .point(lambda x: 0 if x<100 else 255, '1').convert('L')    

лучше, и у нас есть 3 балла: (596, 210), (482, 211), (596, 212).Но это добавляет еще одну трудность (поиск оптимального порога - здесь 100 - автоматически для каждого нового изображения).

Тем не менее, у нас нет 4 углов штрих-кода.

Вопрос: как надежно найти 4 угла штрих-кода на изображении с помощью Python? (а может быть, OpenCV или другая библиотека?)

Примечания:

• Это возможно , это отличный пример (но, к сожалению, не с открытым исходным кодом, как упоминалось в комментариях):

  Обнаружение объектов, очень быстрое и надежное размытие 1DОбнаружение штрих-кода для приложений реального времени

  Обнаружение углов кажется превосходным и очень быстрым, , даже если штрих-код является лишь небольшой частью всего изображения (это важнодля меня).

  

• Интересное решение: Обнаружение штрих-кода в реальном времени в видео с Python и OpenCV но есть ограничения метода (см. в статье: штрих-код должен бытькрупным планом и т. д.), которые ограничивают потенциальное использование.Также мне больше нужна готовая библиотека для этого.

• Интересное решение 2: Определение штрих-кодов в изображениях с Python и OpenCV , но опять же,это не похоже на готовое к производству решение, а скорее на проводимое исследование.Действительно, я попробовал их код на этом изображении, но обнаружение не дает успешного результата.Следует отметить, что для обнаружения не учитывается спецификация штрих-кода (факт наличия символа запуска / остановки и т. Д.)

  import numpy as np
  import cv2
  image = cv2.imread("000.jpg")
  gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
  gradX = cv2.Sobel(gray, ddepth = cv2.CV_32F, dx = 1, dy = 0, ksize = -1)
  gradY = cv2.Sobel(gray, ddepth = cv2.CV_32F, dx = 0, dy = 1, ksize = -1)
  gradient = cv2.subtract(gradX, gradY)
  gradient = cv2.convertScaleAbs(gradient)
  blurred = cv2.blur(gradient, (9, 9))
  (_, thresh) = cv2.threshold(blurred, 225, 255, cv2.THRESH_BINARY)
  kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (21, 7))
  closed = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)
  closed = cv2.erode(closed, None, iterations = 4)
  closed = cv2.dilate(closed, None, iterations = 4)
  (_, cnts, _) = cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
  c = sorted(cnts, key = cv2.contourArea, reverse = True)[0]
  rect = cv2.minAreaRect(c)
  box = np.int0(cv2.boxPoints(rect))
  cv2.drawContours(image, [box], -1, (0, 255, 0), 3)
  cv2.imshow("Image", image)
  cv2.waitKey(0)
  

Answer 1

Решение 2 довольно хорошее.Критическим фактором, который сделал его неудачным на вашем изображении, был порог.Если вы уроните параметр 225 до 55, вы получите гораздо лучшие результаты.

Я переработал код, внося некоторые изменения здесь и там.Оригинальный код в порядке, если вы предпочитаете.Документация для OpenCV довольно хорошая , и есть очень хорошие уроки Python .

import numpy as np
import cv2

image = cv2.imread("barcode.jpg")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# equalize lighting
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
gray = clahe.apply(gray)

# edge enhancement
edge_enh = cv2.Laplacian(gray, ddepth = cv2.CV_8U, 
                         ksize = 3, scale = 1, delta = 0)
cv2.imshow("Edges", edge_enh)
cv2.waitKey(0)
retval = cv2.imwrite("edge_enh.jpg", edge_enh)

# bilateral blur, which keeps edges
blurred = cv2.bilateralFilter(edge_enh, 13, 50, 50)

# use simple thresholding. adaptive thresholding might be more robust
(_, thresh) = cv2.threshold(blurred, 55, 255, cv2.THRESH_BINARY)
cv2.imshow("Thresholded", thresh)
cv2.waitKey(0)
retval = cv2.imwrite("thresh.jpg", thresh)

# do some morphology to isolate just the barcode blob
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 9))
closed = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)
closed = cv2.erode(closed, None, iterations = 4)
closed = cv2.dilate(closed, None, iterations = 4)
cv2.imshow("After morphology", closed)
cv2.waitKey(0)
retval = cv2.imwrite("closed.jpg", closed)

# find contours left in the image
(_, cnts, _) = cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
c = sorted(cnts, key = cv2.contourArea, reverse = True)[0]
rect = cv2.minAreaRect(c)
box = np.int0(cv2.boxPoints(rect))
cv2.drawContours(image, [box], -1, (0, 255, 0), 3)
print(box)
cv2.imshow("found barcode", image)
cv2.waitKey(0)
retval = cv2.imwrite("found.jpg", image)

edge.jpg

thresh.jpg

closed.jpg

found.jpg

вывод с консоли:

[[596 249]
 [470 213]
 [482 172]
 [608 209]]