В основном я пытаюсь визуализировать пользователя с помощью передней камеры устройства iPhone 10+, используя маску глубины, и наложить их поверх сцены 3D SceneKit. Хитрость в том, что я пытаюсь сделать вещи такими же точными, как они есть при использовании TrueDepth. Я хотел бы иметь возможность записывать видео. Доступ к потоку камеры Apple осуществляется через AVCaptureSession. Это используется как кодом извлечения карты глубины, так и ARSession API ARKit.
Однако, когда я пытаюсь связать мои усилия с картой глубины с моим прототипом окклюзии, я блокируюсь операционной системой. Либо я мог получить информацию о глубине с камеры, либо запустить ARSession. Но не то и другое одновременно. Могу ли я обойти это, используя данные глубины, предоставленные как часть ARFrame, в качестве входных данных для моей системы окклюзии / рендеринга? И если да, то как я могу go об этом или, что наиболее важно, где я могу go узнать больше о том, как это сделать?
Извините, если вопрос запутанный. Я не спал несколько дней, пытаясь разобраться в этой проблеме.
Пожалуйста, дайте мне знать, если я не привожу достаточно информации или мне нужно уточнить.