Более сложные алгоритмы оценки позы

Question

Я сейчас изучаю оценку позы в Unity без использования дорогих плагинов!На данный момент я реализовал простую систему отслеживания рук, извлекая контуры руки, как показано ниже: https://www.youtube.com/watch?v=4QE5FcUK5ZA

Однако она не работает блестяще во всех средах и имеет тенденцию неузнайте руку, когда другой объект находится в кадре (как лицо!).У кого-нибудь есть более сложные алгоритмы для оценки позы?Я рассмотрел использование нейронных сетей, но они, как правило, потребляют много ресурсов процессора и / или графического процессора, и мне нужно, чтобы они были легкими и не отставали от Unity.

У кого-нибудь есть предложения?

Answer 1

Многослойный случайный лес - хороший легкий метод для оценки позы в реальном времени https://ieeexplore.ieee.org/document/7789644/.

Он использует множество регрессоров, которые специализируются на различных областях углового пространства.И первый уровень изучает, как взвешивать выходные данные каждого из этих специализированных регрессоров.

Он достигает современного уровня в оценке положения рук и используется автором в приложениях AR в реальном времени.

Модель использует контурные функции, подобные тем, которые вы извлекли.