Создание отслеживаемого человеческого тела - Oculus Rift

Question

Я очень новичок в этом.Во время исследования моей кандидатской диссертации я нашел способ решить проблему, и для этого мне нужно перенести свои лабораторные испытания в виртуальную среду.Во всяком случае, у меня есть Oculus Rift и система OPTOTRAK, которая позволяет мне захватывать все тело для VR (теоретически).Мой вопрос в том, может ли кто-нибудь указать мне правильное направление, какие материалы мне нужно проверить, чтобы начать работу над проектом.У меня есть опыт в программировании, поэтому мне просто нужно подтолкнуть его в правильном направлении (или, если кто-то знает похожий проект)

https://www.researchgate.net/publication/301721674_Insert_Your_Own_Body_in_the_Oculus_Rift_to_Improve_Proprioception - я хочу сделать что-то вроде этого :)

Tnx много

Answer 1

Хороший вызов тоже .. Насколько точен и в реальном времени образ вашего тела в мире Oculus Rift?мои два или три цента

• Подход на основе селфи был бы наиболее удобным для пользователя ... где-то есть внешняя камера, и программное обеспечение преобразует ваше изображение, чтобы отразить правильную перспективукак вы увидите ваше тело через глазок в любой момент.Это не тривиальное и довольно дорогое программное обеспечение для зрения.Чтобы он работал на 360 градусов, должна быть более 1 камеры, которая наблюдает за всеми пользователями Oculus в комнате!

• Косвенный подход может быть проще .. смоделируйте свое тело, только покажите динамику.В браслетах и ​​в специальной одежде пользователя есть электроника в стиле WII, включающая несколько датчиков наклона и ускорения.Они формируют кластер сенсорной информации о «состоянии тела», который должен быть доступен моделирующему в программном обеспечении.Камера не нужна, и программное обеспечение не так сложно, если вы используете модель скелета.

• Объединение.Используйте камеру для рендеринга текстуры и управляйте моделью скелета через динамический привод датчиками одежды.Возможно, может быть применено глубокое обучение, в сочетании с большим количеством датчиков наклона в одежде, различные модели движений тела должны быть обучены и связаны с визуализацией в глазу.Для этого потребуется то же оборудование, что и в предыдущем решении, но программное обеспечение может быть проще, и ваше тело выглядит правильно текстурированным, и оно движется менее «механистично».Потребуются некоторые исследования, чтобы найти правильную стратегию глубокого обучения.