Ключевые точки ARKit в координатах изображения (2D)

Question

Описание «вопроса»:

Я хочу использовать ключевые точки (например, точки привязки) между двумя последовательными изображениями со смартфона Apple, используя ARKit , но я не могу их найти.

Я могу найти 3D значения в мире опорный кадр от ARPointCloud или rawFeaturePoints , но я не могу найти 2D значения (т.е. эталонного изображения кадра) для каждое изображение пары, в которой они были фактически обнаружены (возможно, с использованием какого-либо модифицированного детектора SIFT или любого другого алгоритма ... на самом деле я хотел бы знать, какой алгоритм используется также).

Вопрос:

Знаете ли вы, в каком объекте они хранятся или как я могу их получить?
Я хотел бы перепроецировать их на изображения, снятые камерой в другом программном обеспечении ( python , scikit-image или даже opencv ) для выполнения некоторых обработка.

Answer 1

Какой бы алгоритм ARKit использовал для генерации характерных точек, он является внутренним и закрытым для ARKit. Таким образом, любые промежуточные результаты в равной степени скрыты от общедоступного API, и как алгоритм, так и результаты могут изменяться между выпусками iOS или на разных устройствах.