Как нарисовать boundingRect с правильным углом поворота с помощью OpenCV? - PullRequest
0 голосов
/ 01 марта 2019

Я выполняю детектор краев Canny с использованием Android и Opencv на изображении, чтобы обнаружить самый большой контур, извлечь его с помощью метода warpPerspective, а затем найти все объекты внутри этого контура.Все работает как положено, но только для изображения, которое не вращается.Я использую boundingRect, чтобы получить контур и использовать его координаты, чтобы извлечь его.

Вот мой код:

   private Mat  detectLargestContour(Mat origMat) {

   // long e1 = Core.getTickCount();

    Mat mGray = new Mat();

    MatOfDouble mu = new MatOfDouble();

    MatOfDouble stddev = new MatOfDouble();

    Imgproc.cvtColor(origMat, mGray, Imgproc.COLOR_BGR2GRAY);

    Core.meanStdDev(mGray, mu, stddev);

    Imgproc.GaussianBlur(mGray, mGray, new Size(5, 5), 5);

    //Imgproc.Canny(mGray, mGray, 30, 80, 3, false);   //FOR HIGH BRIGHTNESS
    //Imgproc.Canny(mGray, mGray, 50, 130, 3, false);    // FOR LOW BRIGHTNESS

    Imgproc.Canny(mGray, mGray, mu.get(0, 0)[0], stddev.get(0, 0)[0], 3, false);

    Mat kernell = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(9,9));

    Imgproc.morphologyEx(mGray, mGray, Imgproc.MORPH_CLOSE, kernell);

    Imgproc.dilate(mGray, mGray, Imgproc.getStructuringElement(Imgproc.MORPH_CROSS, new Size(3, 3)));


    List<MatOfPoint> contours = new ArrayList<MatOfPoint>();

    Mat hierarchy = new Mat();

    Imgproc.findContours(mGray, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);

   //MatOfPoint2f approxCurve = new MatOfPoint2f();

    double largest_area=0;

    Rect rect = new Rect();

    for (int idx = 0; idx < contours.size() ; idx++) {

        double a = Imgproc.contourArea(contours.get(idx));  //Find the area of contour

        if (a > largest_area) {
            largest_area = a;
            rect = Imgproc.boundingRect(contours.get(idx));
        }
    }

    if (rect.area() > 100000) {
        Imgproc.rectangle(origMat, rect.tl(), rect.br(), new Scalar(0, 255, 0));
        p1 = new Point(rect.tl().x, rect.tl().y);
        p2 = new Point(rect.tl().x + rect.width, rect.tl().y);
        p3 = new Point(rect.tl().x, rect.tl().y + rect.height);
        p4 = new Point(rect.tl().x + rect.width, rect.tl().y + rect.height);

        card_corners = new ArrayList<>();
        card_corners.add(p1);
        card_corners.add(p3);
        card_corners.add(p4);
        card_corners.add(p2);

        warpedCard =  new Mat(origMat.rows(), origMat.cols(), CvType.CV_8UC3);
        final Point p1 = new Point(warpedCard.cols() + marge, warpedCard.rows() + marge);
        final Point p2 = new Point(0 - marge, warpedCard.rows() + marge);
        final Point p3 = new Point(0 - marge, 0 - marge);
        final Point p4 = new Point(warpedCard.cols() + marge, 0 - marge);

        LinkedList<Point> sceneList = new LinkedList<Point>();
        sceneList.addLast(p4);
        sceneList.addLast(p3);
        sceneList.addLast(p2);
        sceneList.addLast(p1);

        MatOfPoint2f scene = new MatOfPoint2f();
        scene.fromList(sceneList);

        MatOfPoint2f obj = new MatOfPoint2f();
        obj.fromList(card_corners);

        Mat homography = Calib3d.findHomography(obj, scene);
        Imgproc.warpPerspective(origMat, warpedCard, homography, new Size(warpedCard.cols(), warpedCard.rows()));

        return warpedCard;
    }

    return origMat;
}

Это странно, но только boundingRect дал мне стабильный и производительный результат, но нарисованныйпрямоугольник не вращается с найденным контуром.

Как мне решить эту проблему?Есть мысли?

РЕДАКТИРОВАТЬ: я изменил boundingRect с minAreaRect.

Вот код

  int largest_idx = 0;

    for (int idx = 0; idx < contours.size() ; idx++) {

        double a = Imgproc.contourArea(contours.get(idx));  //Find the area of contour

        if (a > largest_area) {

            largest_area = a;

            // rect = Imgproc.boundingRect(contours.get(idx));

            largest_idx = idx;
        }
    }

    MatOfPoint2f new_mat = new MatOfPoint2f( contours.get(largest_idx).toArray() );

    RotatedRect rbox = Imgproc.minAreaRect(new_mat);

    Log.d("rotatedrect_angle", "" + rbox.angle);

    Point points[] = new Point[4];

    rbox.points(points);

    for(int i=0; i<4; ++i){
        Imgproc.line(origMat, points[i], points[(i+1)%4], new Scalar(255,255,255));
    }

И вот что я получил: enter image description here

Как видите, обнаружение не такое точное, как при использовании boundingRect.

1 Ответ

0 голосов
/ 01 марта 2019

enter image description here

Демонстрация Python для поиска и рисования rotatedRect:

# 2019/03/01
# https://stackoverflow.com/a/54942835/3547485

import numpy as np
import cv2

gray = cv2.imread("tmp.png", cv2.IMREAD_GRAYSCALE)
th, threshed = cv2.threshold(gray, 220, 255, cv2.THRESH_BINARY_INV)
cnts = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)[-2]
cnt = sorted(cnts, key=cv2.contourArea, reverse=True)[0]
rbox = cv2.minAreaRect(cnt)
pts = cv2.boxPoints(rbox).astype(np.int32)
cv2.drawContours(img, [pts], -1, (0, 255, 0), 1, cv2.LINE_AA)

cv2.imwrite("dst.png", img)

Полезные функции OpenCV (в Python): cv2.minAreaRect, cv2.boxPoints, cv.2drawContours.Вы можете найти соответствующие функции в Java.

...