Как в автономном режиме отлаживать дополненную реальность в Unity?

Question

Мне было интересно, есть ли способ записать данные датчика и видео с моего iPhone, каким-то образом сохранить их, а затем передать их в Unity для тестирования приложения AR.

Я бы хотел посмотреть, как разные алгоритмы ведут себя на одном и том же входе, и это трудно сделать, когда единственный способ проверить это - взять трубку и взмахнуть ею.

Answer 1

Что вы можете сделать, это захватить буфер изображения. Я сделал нечто подобное, используя ARCore. Не уверен, что ARKit имеет аналогичную реализацию. Я нашел это, когда я сделал краткий поиск https://forum.unity.com/threads/how-to-access-arframe-image-in-unity-arkit.496372/

В ARCore вы можете взять этот буфер изображений и, используя ImageConversion.EncodeToPNG , вы можете создавать файлы PNG с отметкой времени. Вы можете вытащить данные вашего датчика параллельно. В зависимости от того, что вы хотите, вы можете записать его в файл, используя аналогичный подход: https://support.unity3d.com/hc/en-us/articles/115000341143-How-do-I-read-and-write-data-from-a-text-file-

После этого вы можете использовать FFMPEG для преобразования этих PNG в видео. Если вы хотите попробовать разные алгоритмы, вполне вероятно, что одних PNG будет достаточно. В противном случае вы можете использовать такую ​​команду: http://freesoftwaremagazine.com/articles/assembling_video_png_stream_ffmpeg/

Вы должны быть в состоянии передать эти изображения и соответствующие данные датчика в ваш алгоритм для проверки.