извлечь область губ и параметр из лица в Matlab, чтобы использовать для синхронизации губ

Question

Привет всем
Я делаю свой проект в Matlab. Для этого я бы использовал алгоритм выделения губ, который извлекал бы область губ из заданного изображения лица. Для этого я использовал цветовую сегментацию, с помощью которой я могу получить область губ. Это дает мне область губ. Однако я не получаю параметры губ. Следовательно, я должен был бы использовать стандартную губу для синхронизации губ. Т.е. независимо от типа губы, которую может иметь эскиз, мы должны были бы использовать одни и те же губы. Эта техника не даст мне подходящего и точного результата.
Я хочу спросить: «Есть ли какой-нибудь алгоритм или метод, с помощью которого я могу использовать одну и ту же губу эскиза и соответствующим образом модифицировать одну и ту же губу для каждой виземы (наименьшего визуального элемента) в зависимости от фонемы звука»
Заранее благодарю всех

Answer 1

Я написал магистерскую диссертацию на эту тему. Я использовал Active Shape Models , чтобы определить точную «форму» или положение губ, чтобы уменьшить параметры.

http://www.vision.ee.ethz.ch/teaching/sada/sadalink/reports/biwi_00349.pdf

Это работает довольно хорошо, но все же надежность - огромная проблема. Я бы не стал полагаться на цветовую сегментацию для извлечения контуров губ ... казалось, что она работает только для наборов данных с высоким разрешением и идеальными условиями освещения. Кроме того, у некоторых людей очень тонкие или тонированные губы.

В любом случае, посмотрите на ссылки в отчете, они должны быть полезны.