Как использовать параметры камеры для расчета мирового расстояния в сантиметрах между пикселями? - PullRequest
Новая
       8

Как использовать параметры камеры для расчета мирового расстояния в сантиметрах между пикселями?

0 голосов
/ 09 сентября 2018

Я откалибровал камеру, используя отдельно ROS , OpenCv и Matlab . Люди говорят, что мне нужны внешние параметры для вычисления реального расстояния между пикселями в сантиметрах от изображения. ROS не предоставляет внешние параметры в явном виде, он предоставляет (4,3) матрицу проекции, которая является выводом умноженных внутренних и внешних параметров.

Ros camera.yaml file which includes camera parameters

Вот почему я снова откалибровал свою камеру, используя OpenCv и Matlab, чтобы получить внешние параметры. Хотя я искал, как я могу вычислить реальное расстояние в сантиметрах между пикселями (то есть от (x1, y1) до (x2, y2)), я не мог понять, как рассчитать реальное расстояние. Более того, я не понял, какие параметры использовать для расчета расстояния. Я хочу использовать OpenCv, чтобы вычислить расстояние между пикселями и записать вывод в виде txt-файла, чтобы я мог использовать этот txt-файл для перемещения своего робота.

Например, вот массив выходных отсчетов пикселей для пути, 

array([[  4.484375  , 799.515625  ],
       [ 44.484375  , 487.        ],
       [255.296875  , 476.68261719],
       [267.99707031, 453.578125  ],
       [272.484375  , 306.        ],
       [403.484375  , 300.515625  ],
       [539.484375  , 296.515625  ],
       [589.421875  , 270.00292969],
       [801.109375  , 275.18554688],
       [819.        , 467.515625  ]])

Я хочу найти реальное расстояние в сантиметрах между этими пикселями в порядке.

Код OpenCv, который вычисляет параметры: 

import numpy as np
import cv2
import glob

# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

cbrow = 6
cbcol = 9

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((cbrow*cbcol,3), np.float32)
objp[:,:2] = np.mgrid[0:cbcol,0:cbrow].T.reshape(-1,2)

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.

images = glob.glob('C:\Users\Ender\Desktop\CalibrationPhotos\*.jpg')

for fname in images:
    img = cv2.imread(fname)

    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, (cbcol,cbrow),None)

    # If found, add object points, image points (after refining them)
    if ret == True:
        print "%s: success" % fname
        objpoints.append(objp)

        cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        imgpoints.append(corners)

        # Draw and display the corners
        cv2.drawChessboardCorners(img, (cbcol,cbrow), corners,ret)
        cv2.imshow('img',img)
        cv2.waitKey(150)

    else:
        print "%s: failed" % fname
        cv2.imshow('img',img)
        cv2.waitKey(1)

cv2.destroyAllWindows()

ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)

print "mtx"
print mtx
print "dist"
print dist
#print "rvecs"
#print rvecs
#print "tvecs"
#print tvecs
np.savez("CalibData.npz" ,mtx=mtx, dist=dist, rvecs=rvecs, tvecs=tvecs)

#UNDISTROTION
img = cv2.imread('C:\Users\Ender\Desktop\Maze\Maze Images\Partial Maze Images-Raw\Raw7.jpg')
h,  w = img.shape[:2]
newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))

dst = cv2.undistort(img, mtx, dist, None, newcameramtx)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.jpg',dst)

#Re-projection Errors
total_error = 0
for i in xrange(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    total_error += error

print "total error: ", total_error/len(objpoints)

Как это сделать?

...