OpenCV - сшивание изображений - PullRequest
Новая
       6

OpenCV - сшивание изображений

8 голосов
/ 16 мая 2011

Я использую следующий код для прошивки для ввода изображений.По неизвестной причине выходной результат - дерьмо!Кажется, что матрица гомографии неправильна (или затронута неправильно), потому что преобразованное изображение похоже на «эксплуатируемую звезду»!Я прокомментировал ту часть, которая, как мне кажется, является источником проблемы, но я не могу ее осознать.Любая помощь или точка ценится!

Хорошего дня, Али 

void Stitch2Image(IplImage *mImage1, IplImage *mImage2) 
{ 

    // Convert input images to gray 
    IplImage* gray1 = cvCreateImage(cvSize(mImage1->width, mImage1->height), 8, 1); 

    cvCvtColor(mImage1, gray1, CV_BGR2GRAY); 
    IplImage* gray2 = cvCreateImage(cvSize(mImage2->width, mImage2->height), 8, 1); 

    cvCvtColor(mImage2, gray2, CV_BGR2GRAY); 
    // Convert gray images to Mat 
    Mat img1(gray1); 
    Mat img2(gray2); 
    // Detect FAST keypoints and BRIEF features in the first image 
    FastFeatureDetector detector(50); 
    BriefDescriptorExtractor descriptorExtractor; 
    BruteForceMatcher<L1<uchar> > descriptorMatcher; 
    vector<KeyPoint> keypoints1; 
    detector.detect( img1, keypoints1 ); 
    Mat descriptors1; 
    descriptorExtractor.compute( img1, keypoints1, descriptors1 );

/* Detect FAST keypoints and BRIEF features in the second image*/


    vector<KeyPoint> keypoints2; 
    detector.detect( img1, keypoints2 ); 
    Mat descriptors2; 
    descriptorExtractor.compute( img2, keypoints2, descriptors2 ); 
    vector<DMatch> matches; 
    descriptorMatcher.match(descriptors1, descriptors2, matches); 
    if (matches.size()==0) 
            return; 
    vector<Point2f> points1, points2; 
    for(size_t q = 0; q < matches.size(); q++) 
    { 
            points1.push_back(keypoints1[matches[q].queryIdx].pt); 
            points2.push_back(keypoints2[matches[q].trainIdx].pt); 
    } 
    // Create the result image 
    result = cvCreateImage(cvSize(mImage2->width * 2, mImage2->height), 8, 3); 
    cvZero(result); 

   // Copy the second image in the result image 

    cvSetImageROI(result, cvRect(mImage2->width, 0, mImage2->width, mImage2->height)); 
    cvCopy(mImage2, result); 
    cvResetImageROI(result); 

  // Create warp image 
    IplImage* warpImage = cvCloneImage(result); 
    cvZero(warpImage); 

  /************************** Is there anything wrong here!? *******************/ 
   // Find homography matrix 
    Mat H = findHomography(Mat(points1), Mat(points2), 8, 3.0); 
    CvMat HH = H; // Is this line converted correctly? 
   // Transform warp image 
    cvWarpPerspective(mImage1, warpImage, &HH); 
  // Blend 
    blend(result, warpImage);
  /*******************************************************************************/ 

    cvReleaseImage(&gray1); 
    cvReleaseImage(&gray2); 
    cvReleaseImage(&warpImage); 
}

Ответы [ 3 ]

7 голосов
/ 17 мая 2011

Я бы посоветовал вам попробовать в следующем порядке:

1) Использовать опцию CV_RANSAC для гомографии.См. http://opencv.willowgarage.com/documentation/cpp/calib3d_camera_calibration_and_3d_reconstruction.html

2) Попробуйте другие дескрипторы, в частности SIFT или SURF, которые поставляются с OpenCV.Для некоторых изображений дескрипторы FAST или BRIEF недостаточно различимы.РЕДАКТИРОВАТЬ (август '12 г.): дескрипторы ORB, основанные на КРАТКОМ, довольно хороши и быстры!

3) Попробуйте взглянуть на матрицу гомографии (шаг в режиме отладки или распечатать ее) и увидетьесли это не противоречит.

4) Если приведенное выше не дает подсказки, попробуйте взглянуть на сформированные совпадения.Совпадает ли одна точка на одном изображении с количеством точек на другом изображении?Если это так, проблема снова должна быть с дескрипторами или детектором.

Я догадываюсь, что именно дескрипторы (так 1) или 2) должны это исправить).

2 голосов
/ 16 июня 2011

Также переключитесь на расстояние Хэмминга вместо расстояния L1 в BruteForceMatcher.КРАТКИЕ дескрипторы должны сравниваться с использованием расстояния Хэмминга.

1 голос
/ 19 мая 2011

Ваша гомография может быть рассчитана на основе неправильных совпадений и, следовательно, представляет собой плохое соответствие. Я предлагаю провести матрицу путем дополнительной проверки взаимозависимости между ее строками.

Вы можете использовать следующий код: 

bool cvExtCheckTransformValid(const Mat& T){

    // Check the shape of the matrix
    if (T.empty())
       return false;
    if (T.rows != 3)
       return false;
    if (T.cols != 3)
       return false;

    // Check for linear dependency.
    Mat tmp;
    T.row(0).copyTo(tmp);
    tmp /= T.row(1);
    Scalar mean;
    Scalar stddev;
    meanStdDev(tmp,mean,stddev);
    double X = abs(stddev[0]/mean[0]);
    printf("std of H:%g\n",X);
    if (X < 0.8)
       return false;

    return true;    
}
...