Как взаимодействовать с движущимся видео 360 с Unreal Engine VR?

Question

Нам нужно взаимодействовать с видео 360, используя гарнитуру VR, используя Unreal Engine (хотя не закрыт для Unity 3D).Видео записывается в движении по прямой линии.

Пользователь, надев гарнитуру VR, может:

• Перемещаться только в одном направлении, то есть назад или вперед в видео
• Укажите на ключевые части видео.Пример, указывающий на бутылку на столе в видео, увеличит значение

. Для этого мы думаем о следующем:

• проецирование видео внутриУФ сфера.Когда пользователь перемещается вперед или назад, видео будет перемещаться кадр за кадром в правильном направлении.
• , создавая модель сцены с объектами, с которыми мы хотим взаимодействовать.Когда пользователь щелкает в направлении бутылки, он фактически нажимает на «невидимый» 3D-объект бутылки, даже если он выглядит для него как видео.

Короче говоря, пользователь будет только см. Кадр за кадром 360 ° видео.Но может взаимодействовать с искусно расположенными объектами вокруг него, идеально синхронизированными с тем, что пользователь видит на видео.

Есть ли более простой способ решить эту проблему с Unreal / Unity?

РЕДАКТИРОВАТЬ:

• Связано демо от Unity в мае 2017 года

Answer 1

Ваше решение будет считаться самым простым решением проблемы.Может быть, построить хорошую систему анимации, где вы можете добавлять объекты, которые появляются в определенное время, в определенном месте и, возможно, перемещаться с видом камеры и исчезать в другое время.

Перемещение пользователя вперед / назад во времени может быть сделано, когда это опыт сидячей виртуальной реальности.Положение определенно заставит некоторых людей упасть.

Другим способом было бы сделать видео-редактирование анимированной карты кликов и воспроизвести ее синхронно с видео.Когда пользователь щелкает, вы бросаете луч на анимированную карту кликов и смотрите, какое действие выполнить, глядя на цвет.