Анимация лица синхронизирована с речью

Question

Я разрабатываю систему интерактивного разговорного диалога, в которой пользователь будет что-то говорить системе, а система будет отвечать ему голосом и генерировать выражения лица в соответствии с голосом.Но я не могу понять, как я могу генерировать выражения лица.Кто-нибудь скажет мне, что как я могу начать или если какой-либо пакет с открытым исходным кодом уже существует, это было бы очень приятно.Если кто-нибудь знает о каком-либо программном обеспечении с открытым исходным кодом, связанным с этим, пожалуйста, сообщите мне.

Answer 1

Этот проект наряду с другими системами содержит то, что вам нужно:

http://osdn.jp/projects/galatea

Цитата:

«Галатея» - проект по предоставлению открытого исходного кода, без лицензии программный инструментарий для построения антропоморфных разговорных агентов. Другими словами, используя этот инструментарий, вы можете создать свой собственный уникальный живой визуальный агент, который может общаться с вами через разговорный язык

Answer 2

Вы можете использовать открытый исходный код HapFacs1.0 API , который предоставляет всеобъемлющий, FACS API для создания различных выражений лица на основе единиц действия. HapFacs API в настоящее время доступен на платформах Windows. HapFacs разработан на основе программного обеспечения Haptek. Он также обеспечивает встроенную функцию синхронизации губ и совместим с большинством механизмов преобразования текста в речь. HapFacs1.0 изначально написан на C #, но вы можете использовать API, ссылаясь на свой файл .dll с большинством платформ разработки. Комбинируя различные единицы действия, вы можете генерировать выражения лица с различной интенсивностью. Используя конфигурации EMFACS , вы можете создать 7 универсальных выражений лица с различной интенсивностью.

Answer 3

Вам действительно нужны выражения лица, или рот открывается и закрывается, как вы бы видели в старом (не 3d) мультике? Если это так, вы можете попытаться сопоставить рот с амплитудой речи, используя детектор огибающей .

Answer 4

Вы можете генерировать выражения лица, сняв видео своего лица?Лично я думаю, что начну с этого.