Java OpenCV - Использование knnMatch с findHomography показывает дубликаты - PullRequest
Новая
       54

Java OpenCV - Использование knnMatch с findHomography показывает дубликаты

0 голосов
/ 31 октября 2019

Я новичок в OpenCV Java, и у меня есть приложение для Android, которое будет сопоставлять два изображения, используя ORB FeatureDetector и DescriptorExtractor. Я использую DescriptorMatcher BRUTEFORCE_HAMMING. Все время работает сопоставитель, но в других случаях он показывает дубликаты ключевых точек. Когда изображение на сцене слишком яркое или слишком темное, на нем отображаются дубликаты ключевых точек, что не соответствует желаемому.

Изображение, которое точно соответствует:

enter image description here

Плохое изображение соответствует:

enter image description here

try {
 bmpObjToRecognize = bmpObjToRecognize.copy(Bitmap.Config.ARGB_8888, true);
 bmpScene = bmpScene.copy(Bitmap.Config.ARGB_8888, true);

 img1 = new Mat();
 img2 = new Mat();
 Utils.bitmapToMat(bmpObjToRecognize, img1);
 Utils.bitmapToMat(bmpScene, img2);
 Imgproc.cvtColor(img1, img1, Imgproc.COLOR_RGBA2GRAY);
 Imgproc.cvtColor(img2, img2, Imgproc.COLOR_RGBA2GRAY);
 Imgproc.equalizeHist(img1, img1);
 Imgproc.equalizeHist(img2, img2);
 detector = FeatureDetector.create(FeatureDetector.ORB);
 descExtractor = DescriptorExtractor.create(DescriptorExtractor.ORB);
 matcher = DescriptorMatcher.create(DescriptorMatcher.BRUTEFORCE_HAMMING);

 keypoints1 = new MatOfKeyPoint();
 keypoints2 = new MatOfKeyPoint();
 descriptors = new Mat();
 dupDescriptors = new Mat();

 detector.detect(img1, keypoints1);
 Log.d("LOG!", "number of query Keypoints= " + keypoints1.size());
 detector.detect(img2, keypoints2);
 Log.d("LOG!", "number of dup Keypoints= " + keypoints2.size());
  // Descript keypoints1
  descExtractor.compute(img1, keypoints1, descriptors);
  descExtractor.compute(img2, keypoints2, dupDescriptors);
  // matching descriptors
  List<MatOfDMatch> knnMatches = new ArrayList<>();
  matcher.knnMatch(descriptors, dupDescriptors, knnMatches, DescriptorMatcher.BRUTEFORCE);
  goodMatches = new ArrayList<>();
  knnMatchesValue = knnMatches.size();
  Log.i("xxx", "xxx match count knnMatches = " + knnMatches.size());
  for (int i = 0; i < knnMatches.size(); i++) {
   if (knnMatches.get(i).rows() > 1) {
    DMatch[] matches = knnMatches.get(i).toArray();
    if (matches[0].distance < 0.89f * matches[1].distance) {
     goodMatches.add(matches[0]);
    }
   }
  }

  // get keypoint coordinates of good matches to find homography and remove outliers using ransac
  List<Point> pts1 = new ArrayList<>();
  List<Point> pts2 = new ArrayList<>();
  for (int i = 0; i < goodMatches.size(); i++) {
   Point destinationPoint = keypoints2.toList().get(goodMatches.get(i).trainIdx).pt;
   pts1.add(keypoints1.toList().get(goodMatches.get(i).queryIdx).pt);
   pts2.add(destinationPoint);
  }

  // convertion of data types - there is maybe a more beautiful way
  Mat outputMask = new Mat();
  MatOfPoint2f pts1Mat = new MatOfPoint2f();
  pts1Mat.fromList(pts1);
  MatOfPoint2f pts2Mat = new MatOfPoint2f();
  pts2Mat.fromList(pts2);

  // Find homography - here just used to perform match filtering with RANSAC, but could be used to e.g. stitch images
  // the smaller the allowed reprojection error (here 15), the more matches are filtered
  Mat Homog = Calib3d.findHomography(pts1Mat, pts2Mat, Calib3d.RANSAC, 15, outputMask, 2000, 0.995);

  // outputMask contains zeros and ones indicating which matches are filtered
  better_matches = new LinkedList<>();
  for (int i = 0; i < goodMatches.size(); i++) {
   if (outputMask.get(i, 0)[0] != 0.0) {
    better_matches.add(goodMatches.get(i));
   }
  }

  matches_final_mat = new MatOfDMatch();
  matches_final_mat.fromList(better_matches);

  imgOutputMat = new Mat();
  MatOfByte drawnMatches = new MatOfByte();
  Features2d.drawMatches(img1, keypoints1, img2, keypoints2, matches_final_mat, 
   imgOutputMat, GREEN, RED, drawnMatches, Features2d.NOT_DRAW_SINGLE_POINTS);
  bmp = Bitmap.createBitmap(imgOutputMat.cols(), imgOutputMat.rows(), Bitmap.Config.ARGB_8888);
  Imgproc.cvtColor(imgOutputMat, imgOutputMat, Imgproc.COLOR_BGR2RGB);
  Utils.matToBitmap(imgOutputMat, bmp);
  List<DMatch> betterMatchesList = matches_final_mat.toList();
  final int matchesFound = betterMatchesList.size();


} catch (Exception e) {
 e.printStackTrace();
}

Какая часть кода мне не хватает?

1 Ответ

0 голосов
/ 31 октября 2019

TL; DR Используйте класс BFMatcher и его метод create явно, тогда вы сможете установить флаг crosscheck в значение true. Это включит требуемую «обратную проверку».

Чтобы процитировать документацию OpenCV для knnMatch и его заголовок:

Находит k лучших совпадений для каждого дескриптора из запросаset. 

knnMatch(InputArray queryDescriptors, InputArray trainDescriptors, ...)

Таким образом, возможно, что более одного «дескриптора запроса» соответствуют одному и тому же дескриптору в «обучающем наборе». Он просто дает вам наилучшее k, и если дескрипторов запросов больше, чем обучающих дескрипторов, вы неизбежно получите дубликаты. Особенно, когда у вас почти нет функций и, следовательно, дескрипторов в обучающем образе / наборе (из-за отсутствия какой-либо текстуры, например, вашего черного ввода), это будет иметь место.

Если вы хотите избавиться отваши дубликаты, установите флаг "перекрестной проверки" BFMatcher в true. В противном случае (т. Е. Другое совпадение) вам нужно будет пройти через ваши совпадения, «сгруппировать» их по соответствующим дескрипторам обучения и удалить все, кроме одного с наименьшим расстоянием.

...