Я пытаюсь получить 2D-координату на плоскости изображения с учетом 3D-координат мира в Unreal Engine 4.
Мировая система координат: x (увеличение справа налево), y (увеличение снаружи внутрь экрана), z (увеличение снизу) наверх)
Система координат изображения, которую я хочу, это начало координат слева внизу и x (увеличение слева направо), y (увеличение снизу вверх)
Я установил собственную и внешнюю камеру, как показано ниже, в то время как камера находится на
(-474.9739990234375, -67.140998840332031, 128.10400390625)
и его вращение
(0, 0.80071002244949341, 99.797645568847656)
связано с происхождением мировой координаты.
import numpy as np
fov = 69.4
width = 1920.0
height = 1080.0
aspect_ratio = width / height
fx = width / (2 * np.tan(fov * np.pi / 2 / 180))
fy = height / (2 * np.tan(fov / aspect_ratio / 2 / 180 * np.pi))
intrinsic = [[-fx, 0, width / 2], [0, fy, height / 2], [0 , 0, 1]]
pitch = 0.80071002244949341 * np.pi / 180
yaw = 99.797645568847656 * np.pi / 180
roll = 0 * np.pi / 180
ry = [[np.cos(pitch), 0, np.sin(pitch)], [0, 1, 0], [-np.sin(pitch), 0, np.cos(pitch)]]
rx = [[1, 0, 0], [0, np.cos(roll), -np.sin(roll)], [0, np.sin(roll), np.cos(roll)]]
rz = [[np.cos(yaw), -np.sin(yaw), 0], [np.sin(yaw), np.cos(yaw), 0], [0, 0, 1]]
rotation_matrix = np.matmul(np.matmul(rx, ry), rz)
translation_matrix = np.array([[-474.9739990234375, -67.140998840332031, 128.10400390625]])
extrinsic = np.concatenate([rotation_matrix, translation_matrix.T], axis=1)
extrinsic = np.concatenate([extrinsic, np.array([[0, 0, 0, 1]])], axis=0)
extrinsic = np.linalg.inv(extrinsic)
extrinsic = extrinsic[:3]
print(extrinsic)
Допустим, у меня есть объект в сцене, который также находится в поле зрения камеры.
Его координата
[-582.88897705078125, 143.63600158691406, 88.338996887207031]
Используя приведенный ниже код, я должен получить проекцию 3D-точки на плоскость изображения.
world_coordinate = np.array([[-582.88897705078125, 143.63600158691406, 88.338996887207031, 1]])
camera_coordinate = np.dot(extrinsic, world_coordinate.T)
print(camera_coordinate)
camera_coordinate[0] *= 1
tmp = camera_coordinate[1].copy()
camera_coordinate[1] = camera_coordinate[2]
camera_coordinate[2] = tmp
print(camera_coordinate)
image_coordinate = np.dot(intrinsic, camera_coordinate)
image_coordinate /= image_coordinate[2]
print(image_coordinate)
Но я получил
[[-3.52097326e+03]
[-3.59180874e+02]
[ 1.00000000e+00]]
Который не лежит на плоскости изображения. Как мне это решить?