Как сохранить видеопоток iphone в mp4 в приложении ARKit? - PullRequest
0 голосов
/ 03 октября 2019

Я создаю приложение ARFoundation (точнее, ARKit), очень простое (просто смотрю на объект AR, стоящий на земле). Самая сложная часть, которую я хотел бы достичь, заключается в том, что, в то время как приложение работает, я хотел бы сохранить исходную видео-ленту iphone БЕЗ чего-либо из приложения сверху (без 3D-объекта, без пользовательского интерфейса, простовидео в iphone) в формате mp4, с фиксированной частотой кадров 30 кадров в секунду.

В течение нескольких часов я искал некоторые ресурсы, которые могли бы помочь, но большинство из них записывали полный экран ...

  • ДелатьЯ должен использовать вторую камеру, подключенную к ARcamera и со всеми отключенными слоями?
  • Нужно ли использовать ReplayKit? (или NatCam / NatCorder / NextGenRecorder, но они не бесплатны)
  • Должен ли я иметь дело с WebCamTexture (кажется, немного сложным со всеми GetPixels, проблемами ориентации экрана и кодирования в mp4 вещи .. .)?
  • Нужно ли извлекать текстуру фона из материала YUV ARCamera? (но я не знаю, как это сделать ...)

Я также думал о том, чтобы иметь приложение со скоростью 60 кадров в секунду, и чтобы мой 3D-объект отображался только 1 кадр на 2 (это не имеет значенияявляется ли 3D-объект «мерцающим» и сохраняет фон только на пустых кадрах (например, при 30 кадрах в секунду), но я действительно не знаю, хорошая ли это идея ...

Итак, как вы можете видеть, яНе знаю, как лучше всего использовать, чтобы иметь хорошую производительность (я использую iPhone XS). Я был бы очень признателен за любые советы от вас, ребята!

...