Как отследить какой-либо конкретный объект, который мы хотим в изображении? - PullRequest
Новая
       22

Как отследить какой-либо конкретный объект, который мы хотим в изображении?

0 голосов
/ 02 июля 2019

Я хочу отслеживать любой объект, который я хочу, в видеокадре без какого-либо алгоритма обнаружения объекта, такого как haar-cascade, fast-RCNN, SSD или YOLO.Как я могу это сделать?Пожалуйста, порекомендуйте мне любой метод.

Я использовал OpenCV Tracking API, как указано здесь Адрианом https://www.pyimagesearch.com/2018/08/06/tracking-multiple-objects-with-opencv/

Но я хочу сделать более сложный трекер.Могут ли разработчики порекомендовать мне какой-нибудь алгоритм или другие API?

Ответы [ 2 ]

0 голосов
/ 04 июля 2019 
import numpy as np
import cv2
import copy

class selectROI():

    def __init__(self):
        self.refPt = []
        self.clickEventsEnabled = False
        self.drawingRectangle = False
        self.rectangleDrawn = False
        self.x_start = -1
        self.y_start = -1
        self.ref_frame = None

    def clickPolygonPoints(self, event, x, y, flags, param):

        temp_frame = self.ref_frame.copy()

        if(self.clickEventsEnabled == True):
                if event == cv2.EVENT_LBUTTONDOWN:
                        if((self.rectangleDrawn == False)):
                            self.drawingRectangle = True
                            self.x_start,self.y_start = x,y
                            self.refPt.append((x,y))

                elif event ==  cv2.EVENT_MOUSEMOVE: 
                        if(self.drawingRectangle == True):
                            cv2.rectangle(temp_frame, (self.x_start,self.y_start), (x,y), (0,0,255), 2)
                            cv2.imshow("ref_frame", temp_frame)
                            temp_frame = self.ref_frame

                elif event == cv2.EVENT_LBUTTONUP:
                        if((self.rectangleDrawn == False)):
                            self.drawingRectangle = False
                            self.rectangleDrawn = True
                            cv2.rectangle(self.ref_frame, (self.x_start, self.y_start), (x,y), (0,0,255), 2)
                            self.refPt.append((self.x_start, self.y_start))
                            self.refPt.append((x, self.y_start))
                            self.refPt.append((x, y))
                            self.refPt.append((self.x_start, y))

                            roiPoints = [(self.x_start, self.y_start), (x, y)]

                            if len(roiPoints) == 2: #when two points were found
                                    roi = self.ref_frame[roiPoints[0][1]:roiPoints[1][1], roiPoints[0][0]:roiPoints[1][0]]
                                    cv2.imshow("Cropped", roi)


    def maskImg_WithROI(self, frame, ROIPointsList):
            pointsArray = np.array(ROIPointsList)
            mask = np.zeros(frame.shape, dtype=np.uint8)
            white = (255,255,255)
            cv2.fillPoly(mask, np.int32([pointsArray]), white)
            maskedImage = cv2.bitwise_and(frame, mask)
            return maskedImage  

    def outputROIMask(self, frame, ROIPointsList):
            pointsArray = np.array(ROIPointsList)
            pointsArray = pointsArray.reshape((-1,1,2))
            mask = np.zeros(frame.shape, dtype=np.uint8)
            white = (255,255,255)
            cv2.fillPoly(mask, np.int32([pointsArray]), white)
            return mask  

    def main(self):

            self.clickEventsEnabled = True

            self.ref_frame = cv2.imread('picture.png')
            originalRef_Frame = self.ref_frame.copy()

            cv2.namedWindow("ref_frame")
            cv2.setMouseCallback("ref_frame", self.clickPolygonPoints)

            while True:

                    cv2.imshow("ref_frame", self.ref_frame)

                    key = cv2.waitKey(0) & 0xFF

                    if key == ord("r"):
                         self.ref_frame = originalRef_Frame.copy()
                         self.refPt = []
                         self.drawingRectangle = False
                         self.rectangleDrawn = False
                         self.x_start, self.y_start = -1,-1

                    elif key == ord("p"):
                         self.clickEventsEnabled = False
                         self.ref_frame = originalRef_Frame.copy()
                         self.drawingRectangle = False
                         self.rectangleDrawn = False
                         break

                    elif key == ord("q"):
                            break

            self.ref_frame = self.maskImg_WithROI(self.ref_frame, self.refPt)
            cv2.imshow("ref_frame", self.ref_frame)

            roiMask = self.outputROIMask(self.ref_frame, self.refPt)
            cv2.imwrite("ROI.jpg", roiMask)

            cv2.waitKey(0)
            cv2.destroyAllWindows()

if __name__ == '__main__':
    selROI = selectROI()
    selROI.main()`
0 голосов
/ 02 июля 2019

Алгоритм, который вы упомянули, вероятно, лучший выбор. Кстати, если у вас есть несколько изображений объекта, который вы хотите найти, вы можете попробовать использовать

SIFT очки (a.k.a. SURF очки в Matlab)

и напиши себе детектор.

Вы могли бы найти некоторую проблему с коэффициентом масштабирования и, возможно, вычислительным временем, но я думаю, что вы могли бы попробовать эту технику.

...