Можем ли мы использовать vuforia для встраивания маркеров в предварительно записанные видео вместо прямой трансляции с камеры?

Question

В настоящее время я работаю над службой обновления содержимого баз видео по маркерам, присутствующим в видео. Мне было любопытно, можем ли мы использовать Vuforia, чтобы добиться того же, предоставляя предварительно записанное видео в качестве входного сигнала для Vuforia вместо прямой трансляции с камеры с мобильного телефона.

Answer 1

TLDR; Это невозможно, поскольку замена камеры - это не та функция, которую предоставляют Vuforia или ARKit.

Помимо неэкспонирования камеры, обе рамки используют комбинацию входа камеры и данных датчика (гироскоп, акселерометр, компас, высота и т. Д. c) для расчета положения камеры / телефона (перемещение / вращение) относительно изображения маркера.

Эффект, который вы ищете, - это отслеживание и рендеринг изображения в видеопотоке. Вам следует рассмотреть OpenCV для отслеживания характерных точек или какую-то библиотеку компьютерного зрения. Что касается рендеринга, есть три варианта SceneKit, Metal или OpenGL. Следуя указаниям Apple, вы можете использовать SceneKit для рендеринга, аналогично тому, как ARKit обрабатывает сенсорные входы и использует SceneKit для рендеринга. Если вы амбициозны и хотите контролировать рендеринг, вы можете использовать Metal или OpenGL.