Элемент, соответствующий металлическому объекту с SIFT, SURF или ORB

Question

Я пытаюсь идентифицировать ключевые объекты на моем изображении, которое берется, глядя прямо на мой объект, затем пытаюсь сопоставить эти ключевые объекты с изображением того же объекта, который был слегка наклонен.Моя цель - определить поворот, необходимый для перехода от одного изображения к следующему, и наоборот.

У меня проблема в том, что процесс сопоставления ключевых точек совершенно неточен.Насколько я понимаю, это потому, что мой объект достаточно однородный по цвету, симметричный, и то, как он отражает свет, усложняет процесс.

Можно ли как-нибудь улучшить сопоставление функций SIFT или ORB?

Или есть другой метод, который будет работать лучше для моего данного приложения.Я относительно новичок в компьютерном зрении и буду признателен за любые советы.

Вот код, с которым я работаю.До сих пор я ссылался на документы OpenCV и онлайн-уроки.

try:
   surf = cv2.xfeatures2d.SURF_create(400)
except Exception:
   surf = cv2.cv2.xfeatures2d.SIFT_create(400)

kp1, des1 = surf.detectAndCompute(img1, None)
kp2, des2 = surf.detectAndCompute(img2, None)

img_pts = cv2.drawKeypoints(img1, kp1, None)
plt.imshow(img_pts)
plt.show()

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des1, des2, k=2)


# store all the good matches as per Lowe's ratio test.
good = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good.append(m)

match_results = cv2.drawMatches(img1, kp1, img2, kp2, good[:], None, flags=2)
plt.imshow(match_results)
plt.show()


MIN_MATCH_COUNT = 10
if len(good) > MIN_MATCH_COUNT:
    src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
    dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)

    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

    # see https://ch.mathworks.com/help/images/examples/find-image-rotation-and-scale-using-automated-feature-matching.html for details
    ss = M[0, 1]
    sc = M[0, 0]
    scaleRecovered = np.sqrt(ss * ss + sc * sc)
    thetaRecovered = np.arctan2(ss, sc) * 180 / np.pi
    print('Scale: {} , Rotation: {}'.format(scaleRecovered, thetaRecovered))

    # deskew image
    im_out = cv2.warpPerspective(img2, np.linalg.inv(M),
                                     (img1.shape[1], img1.shape[0]))

    plt.title('Before')
    plt.imshow(img1)
    plt.show()

    plt.title('After')
    plt.imshow(im_out)
    plt.show()

    plt.title('compare')
    plt.imshow(img2)
    plt.show()

Answer 1

Я верю, что вы на правильном пути.Однако почему бы не использовать готовый инструмент?Например, см. ORB Slam, CNN-SLam:

• https://www.youtube.com/watch?v=ufvPS5wJAx0
• https://www.youtube.com/watch?v=z_NJxbkQnBU

Все они делают аналогичный процесс, что выпытался сделать.Я считаю, что ORB Slam использует ORB Matchers.Чем они отличаются от вас?

• Стереокамера работает лучше, чем моно
• Они делают много снимков (или используют видеопоток), причем каждое изображение имеет небольшие угловые различия
• Камера большую часть времени имеет гироскоп / ускоритель, поэтому они используют эти данные для того, чтобы угадать, как камера движется, и объединить ее с тем, что она видит.(Слияние датчиков)
• Облако трехмерных точек закрыто само по себе, чтобы обеспечить физически здоровую среду.

Если вы хотите попробовать сами, знайте, что слепое сопоставление гомографии никогда не даст вамхорошие результаты.Причины этого - те, которые вы перечислили / перечислили в комментариях к вашему вопросу.Тем не менее, вы можете следовать идеям этих библиотек и придумать аналогичную собственную реализацию, или вы можете изменить их в соответствии со своими потребностями (что будет лучше, если вы даже улучшите их, чтобы мы все могли их использовать :-))