Распознавание деталей лица как набора точек, а не просто прямоугольников

Question

Я занимаюсь исследованиями в области распознавания эмоций.Для этого мне нужно поймать и классифицировать отдельные детали лица, такие как глаза, нос, рот и т. Д. Стандартная функция OpenCV для этого detectMultiScale(), но ее недостатком является то, что она возвращает список прямоугольников ( видео ), в то время как меня больше всего интересуют конкретные ключевые точки - углы рта, верхняя и нижняя точки, края и т. д. ( видео ).

Итак, как они это делают?OpenCV идеален, но другие решения тоже подойдут.

Answer 1

Для анализа таких точных точек вы можете использовать Активные модели внешнего вида. Похоже, ваше второе видео сделано с помощью AAM. Посмотрите выше ссылку на Википедию, где вы можете получить множество инструментов и API AAM.

С другой стороны, если вы можете обнаружить рот, используя каскад Хаара, примените цветовую фильтрацию. Очевидно, губы и окружающая область имеют разницу в цвете. Вы получаете точную модель губ и находите их края.

Проверьте этот документ: Извлечение контура губ