Как использовать функцию OpenCV cvProjectPoints2

Question

У меня проблемы с функцией cvProjectPoints2. Ниже приводится обзор функций из книги О'Рейли "Learning OpenCV":

void cvProjectPoints2(
const CvMat* object_points,
const CvMat* rotation_vector,
const CvMat* translation_vector,
const CvMat* intrinsic_matrix,
const CvMat* distortion_coeffs,
CvMat* image_points,
);

Первый аргумент, object_points, это список точек, которые вы хотите спроецировать; это просто матрица N-3, содержащая местоположения точек. Вы можете указать их в собственной локальной системе координат объекта, а затем предоставить матрицы 3 на 1 rotation_vector* и translation_vector для связи двух координат. Если в вашем конкретном контексте проще работать непосредственно с координатами камеры, то вы можете просто указать object_points в этой системе и установить для rotation_vector и translation_vector значение 0. †

intrinsic_matrix и distortion_coeffs - это просто внутренняя информация о камере и коэффициенты искажения, полученные из cvCalibrateCamera2 (), которые обсуждались в главе 11. Аргумент image_points представляет собой матрицу N-2, в которую будут записаны результаты вычислений.

Прежде всего, похоже, есть ошибка с массивом object_points. Если есть только одна точка, то есть N = 1, программа вылетает. Во всяком случае, у меня есть несколько внутренних параметров камеры и проекционных матриц. Коэффициенты искажения даны как 0, то есть искажения отсутствуют. Для простоты предположим, что у меня есть 2 камеры:

double intrinsic[2][3][3] = {
//camera 0
1884.190000,    0, 513.700000,
0.0,    1887.490000,    395.609000,
0.0,    0.0,    1.0,
//camera 4
1877.360000,    0.415492,   579.467000,
0.0,    1882.430000,    409.612000,
0.0,    0.0,    1.0
};

double projection[2][3][4] = {
//camera 0
0.962107,   -0.005824,  0.272486,   -14.832727,
0.004023,   0.999964,   0.007166,   0.093097,
-0.272519,  -0.005795,  0.962095,   -0.005195,
//camera 4
1.000000,   0.000000,   -0.000000,  0.000006,
0.000000,   1.000000,   -0.000000,  0.000001,
-0.000000,  -0.000000,  1.000000,   -0.000003
};

Насколько я понимаю, этой информации достаточно, чтобы проецировать любую точку (x, y, z) на любое изображение с камеры. Здесь в координатах x, y, z оптический центр камеры 4 является источником мировых координат.

Вот мой код:

#include <cv.h>
#include <highgui.h>
#include <cvaux.h>
#include <cxcore.h>
#include <stdio.h>

double intrinsic[2][3][3] = {
//0
1884.190000,    0, 513.700000,
0.0,    1887.490000,    395.609000,
0.0,    0.0,    1.0,
//4
1877.360000,    0.415492,   579.467000,
0.0,    1882.430000,    409.612000,
0.0,    0.0,    1.0
};

double projection[2][3][4] = {
//0
0.962107,   -0.005824,  0.272486,   -14.832727,
0.004023,   0.999964,   0.007166,   0.093097,
-0.272519,  -0.005795,  0.962095,   -0.005195,
//4
1.000000,   0.000000,   -0.000000,  0.000006,
0.000000,   1.000000,   -0.000000,  0.000001,
-0.000000,  -0.000000,  1.000000,   -0.000003
};


int main() {
    CvMat* camera_matrix[2]; //
    CvMat* rotation_matrix[2]; //
    CvMat* dist_coeffs[2]; 
    CvMat* translation[2];
    IplImage* image[2];
    image[0] = cvLoadImage("color-cam0-f000.bmp", 1);
    image[1] = cvLoadImage("color-cam4-f000.bmp", 1);
    CvSize image_size;
    image_size = cvSize(image[0]->width, image[0]->height);

    for (int m=0; m<2; m++) {
        camera_matrix[m] = cvCreateMat(3, 3, CV_32F);
        dist_coeffs[m] = cvCreateMat(1, 4, CV_32F);
        rotation_matrix[m] = cvCreateMat(3, 3, CV_32F);
        translation[m] = cvCreateMat(3, 1, CV_32F);
    }

    for (int m=0; m<2; m++) {
        for (int i=0; i<3; i++)
            for (int j=0; j<3; j++) {
                cvmSet(camera_matrix[m],i,j, intrinsic[m][i][j]);
                cvmSet(rotation_matrix[m],i,j, projection[m][i][j]);
            }
        for (int i=0; i<4; i++)
            cvmSet(dist_coeffs[m], 0, i, 0);
        for (int i=0; i<3; i++)
            cvmSet(translation[m], i, 0, projection[m][i][3]);
    }

    CvMat* vector = cvCreateMat(3, 1, CV_32F);
    CvMat* object_points = cvCreateMat(10, 3, CV_32F);
    cvmSet(object_points, 0, 0, 1000);
    cvmSet(object_points, 0, 1, 500);
    cvmSet(object_points, 0, 2, 100);

    CvMat* image_points = cvCreateMat(10, 2, CV_32F);
    int m = 0;
    cvRodrigues2(rotation_matrix[m], vector);
    cvProjectPoints2(object_points, vector, translation[m], camera_matrix[m], dist_coeffs[m], image_points);
    printf("%f\n", cvmGet(image_points, 0, 0));
    printf("%f\n", cvmGet(image_points, 0, 1));
    return 0;
}

Изображения 1024 * 768, и видимая часть z, как известно, находится между 44 и 120. Итак, точку следует видеть на обеих камерах, верно? Но результат абсолютно неверный. Даже для m = 1. Что я делаю не так?

Answer 1

Да, cvProjectPoints используется для проецирования массива точек. Вы можете проецировать одну точку с помощью простых матричных операций:

CvMat *pt = cvCreateMat(3, 1, CV_32FC1);
CvMat *pt_rt = cvCreateMat(3, 1, CV_32FC1);
CvMat *proj_pt = cvCreateMat(3, 1, CV_32FC1);
cvMatMulAdd(rotMat, pt, translation, pt_rt);
cvMatMul(intrinsic, pt_rt, proj_pt);
// convertPointsHomogenious might be used
float scale = (float)CV_MAT_ELEM(*proj_pt, float, 2, 0); 
float x = CV_MAT_ELEM(*proj_pt, float, 0, 0) / scale;
float y = CV_MAT_ELEM(*proj_pt, float, 1, 0) / scale;
CvPoint2D32f img_pt = cvPoint2D32f(x, y);