Используйте opencv для отслеживания картофеля на поясе, лучшая альтернатива?

Question

Я хочу использовать какое-то машинное обучение для измерения (диаметра) и подсчета картофеля, проходящего по ленте. Я начал с opencv и начал тренировать каскад с положительными и отрицательными изображениями, это экран печати из короткого видео, которое я сделал:

В этом кадре удается только идентифицировать картофель, но я предполагаю, что могу добавить больше положительных и отрицательных изображений, чтобы сделать лучший идентификатор.

Так что к вопросам,

1. Вы думаете, что я на правильном пути?

2. А есть идеи, как мне продолжить измерение диаметра?

3. Как мне отслеживать каждую картошку, чтобы она учитывалась только один раз?

(Это код, который я запускаю для идентификации картофеля)

import numpy as np
import cv2
pot_cascade = cv2.CascadeClassifier('cascade.xml')
cap = cv2.VideoCapture('potatoe_video.mp4')
while 1:
    ret, img = cap.read()
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    potatoes = pot_cascade.detectMultiScale(gray, 5, 5)    
    for (x, y, w, h) in potatoes:
        cv2.rectangle(img, (x, y), (x + w, y + h), (255, 255, 0), 2)
    cv2.imshow('img', img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv2.destroyAllWindows()

Answer 1

Как вы думаете, я на правильном пути?

Да и нет. Машинное обучение, безусловно, является подходящим инструментом для решения проблемы отслеживания картофеля, но показанные результаты пока не очень хорошие. Долгий путь еще впереди.

А есть идеи, как мне продолжить измерение диаметра?

Если вас интересует только измерение среднего диаметра картофеля, то это может быть намного проще, чем на самом деле отслеживать одиночный картофель.

Сначала необходимо оценить перспективу (положение транспортного ремня относительно камеры), чтобы вы знали, как пространство изображения соотносится с реальным пространством на транспортном ремне. Что может помочь вам в обнаружении преобразования реального пространства в пространство изображения, так это наложить регулярную сетку (например, лист с обычными черными точками) на ремень и наблюдать за его движением. Установка камеры в режиме вид сверху может значительно упростить процесс.

Измерение только среднего диаметра означает, что вам не нужно правильно подбирать все картофелины; стандартного алгоритма обнаружения ребер может быть достаточно для обнаружения большинства картофелин, а затем подгонки к ним эллипсов, составления гистограммы диаметров и просмотра медианы. значение.

В качестве альтернативы можно рассчитать автокорреляцию светимости картофеля (между картофелями темно, сам картофель отражает свет) и подгонять ширину пиков в автокорреляции. Или рассчитайте преобразование Фурье изображений и нормализуйте среднюю амплитуду в пределах полосы частот, где вы ожидаете размер картофеля со средней амплитудой другой полосы частот. Это работает лучше всего, если вы можете калибровать метод с картофелем известного размера. Это означает, что вы можете записывать картофель известного размера и, таким образом, калибровать показатели автокорреляции или FFT.

Я бы, однако, пошел на подход машинного обучения, потому что он потенциально дает вам единичные измерения картофеля.

Как мне отслеживать каждую картошку, чтобы она учитывалась только один раз?

Каждая видеокарта (потенциально) видна в промежутке времени на видео, необходимом для транспортировки картофеля на ленте через поле зрения. После того, как вы установили перспективу, вы можете связать положение на изображении и время записи с положением на транспортной ленте, и пока картофель не меняет положение на ленте, вы можете легко идентифицировать его в течение всего времени. диапазон, где это видно.

По сути, вы должны знать (оценивать) движение транспортного ремня, а затем вы можете "отменить" его (в вычислительном отношении) и усреднить по всем случаям, когда вы видели одну и ту же картошку.

Я рекомендую следующий общий рабочий процесс:

• Попробуйте установить камеру в более удобное положение (вид сверху).
• Измерение преобразования реального пространства в пространство изображения-времени путем отслеживания, позволяющего легче обнаруживать объекты с известным расстоянием на поясе.
• Применение обратного преобразования и, если хотите, усреднение по всем изображениям одного и того же объекта (может помочь, если на одном изображении присутствует шум, низкая контрастность)
• Либо используйте простое обнаружение краев и сделайте некоторую статистику, чтобы получить средний диаметр картофеля (возможно, откалибруйте с картофелем известного размера), либо ..
• .. использовать машинное обучение для определения (и отслеживания, если вы не усреднили) одного картофеля
• Если по пути вы сталкиваетесь с проблемами, разбейте их на маленькие кусочки и попросите решение каждого из них в отдельном вопросе.