Нарисуйте изображение вокруг Aruco - PullRequest
Новая
       21

Нарисуйте изображение вокруг Aruco

0 голосов
/ 17 октября 2019

Я пытаюсь создать простое приложение дополненной реальности с использованием OpenCV 4.1.1 и Aruco. Цель состоит в том, чтобы наложить изображение поверх маркера, но изображение должно выходить за края маркера.

Я откалибровал камеру и получил матрицу камеры и коэффициенты искажения. Используя WarCPerspective в OpenCV, я могу нарисовать изображение поверх маркера, но могу привязать его только к углам маркера, чтобы он оставался в пределах границы маркера. 

    std::vector<int> ids;
    std::vector<std::vector<Point2f>> corners;

    // detect markers
    aruco::detectMarkers(image, dictionary, corners, ids);

if (ids.size() > 0) {
    // file with image to draw
    auto file = "square.png";
    // image to draw on the marker
    Mat im_src = imread(file);

    if (im_src.data == NULL) {
        std::cout << file << ": File not found\n" << std::endl;
        continue;
        }

        // flip(im_src, im_src, 1);

        // points of corners of the image
        std::vector<Point2f> pts_src;
        pts_src.push_back(Point2f(0, 0));
        pts_src.push_back(Point2f(im_src.cols-1, 0));
        pts_src.push_back(Point2f(im_src.cols-1, im_src.rows-1));
        pts_src.push_back(Point2f(0, im_src.rows-1));

        // use aruco marker
        for (int i = 0; i < ids.size(); i++) {
            if (ids[i] == 69) {
                aruco::drawDetectedMarkers(imageCopy, corners, ids);

                std::vector<Point> pts_dst;
                pts_dst.push_back(corners[i][0]);
                pts_dst.push_back(corners[i][1]);
                pts_dst.push_back(corners[i][2]);
                pts_dst.push_back(corners[i][3]);

                Mat h = findHomography(pts_src, pts_dst);

                Mat im_out;
                warpPerspective(im_src, im_out, h, imageCopy.size()); 
                fillConvexPoly(imageCopy, pts_dst, 0, 16);
                imageCopy = imageCopy + im_out; 
            }
        }

Вот изображение того, что я имею и чего хочу. Я думаю, что мне нужно использовать 3D-точки, чтобы нарисовать изображение, но я не уверен, как это сделать. Любая помощь будет оценена.

[1]

[2]

1 Ответ

0 голосов
/ 18 октября 2019

Как вы сказали в комментарии, если длина маркера доступна, скажем l0, вы можете определить длину нужного квадрата как l = l0 * 1.05 или что-то еще. 

for (int i = 0; i < ids.size(); i++) {
    if (ids[i] == 69) {
        aruco::drawDetectedMarkers(imageCopy, corners, ids);

        // Estimate the pose of the marker
        std::vector<cv::Vec3d> rvecs, tvecs;
        cv::aruco::estimatePoseSingleMarkers(
            corners, l0, camera_matrix, dist_coeffs, 
            rvecs, tvecs
        );

        drawSquare(
            image_copy, camera_matrix, dist_coeffs, rvecs[i], tvecs[i], 
            l0
        );
    }
}


void drawSquare(
    cv::InputOutputArray image, cv::InputArray cameraMatrix, 
    cv::InputArray distCoeffs, cv::InputArray rvec, cv::InputArray tvec, 
    float l0
)
{
    float l = l0 * 1.05;  // new square is 5% larger than the aruco marker
    float half_l = l / 2.0;

    // Define the square on the camera frame (this is 3D since the camera
    // frame is 3D).
    std::vector<cv::Point3f> squarePoints;
    squarePoints.push_back(cv::Point3f(half_l, half_l, 0));
    squarePoints.push_back(cv::Point3f(half_l, -half_l, 0));
    squarePoints.push_back(cv::Point3f(-half_l, -half_l, 0));
    squarePoints.push_back(cv::Point3f(-half_l, half_l, 0));

    // Project the square to the image.
    std::vector<cv::Point2f> imagePoints;
    projectPoints(
        squarePoints, rvec, tvec, cameraMatrix, distCoeffs, imagePoints
    );

    // Draw the square on the image.
    cv::line(image, imagePoints[0], imagePoints[1], cv::Scalar(255, 0, 0), 3);
    cv::line(image, imagePoints[1], imagePoints[2], cv::Scalar(255, 0, 0), 3);
    cv::line(image, imagePoints[2], imagePoints[3], cv::Scalar(255, 0, 0), 3);
    cv::line(image, imagePoints[3], imagePoints[0], cv::Scalar(255, 0, 0), 3);
}

Я не сделалпроверить это, но я использовал похожий код для другого проекта. Если у вас возникнут какие-либо проблемы, пожалуйста, дайте мне знать. Я обновлю код выше.

...