Я проверяю проект Apple, который демонстрирует, как отделить человека от фона с помощью фронтальной камеры TrueDepth.Вы можете видеть это здесь:
https://developer.apple.com/documentation/avfoundation/cameras_and_media_capture/enhancing_live_video_by_leveraging_truedepth_camera_data
Это работает довольно хорошо, однако иногда, если я поворачиваю свое лицо, карта глубины теряет некоторые точки данных и обрезает части моего лица и уха.Вы можете увидеть этот пример здесь: https://streamable.com/cstex
У кого-нибудь есть идеи, как это улучшить?Объект AVPortraitEffectsMatte идеален, если вы используете AVCapturePhotoOutput, однако он не подходит для прямой трансляции видео, так как время обработки слишком велико для обновления кадров.
Я заметил Clips приложение от Apple дает отличные результаты и не обрезает мое лицо или уши, а также обеспечивает хорошую частоту кадров: https://streamable.com/5n96h Поскольку их приложение не теряет деталей, оно не должно полагаться исключительнона глубине данных.ИЛИ, они используют свои данные глубины через модель, чтобы улучшить ее (может быть, похоже на проприетарную модель, которую они используют для генерации AVPortraitEffectsMatte)
Есть идеи о том, как получить подобный результат или как они его достигли?