Tacotron2 TTS висемэ поколения

Question

В настоящее время я работаю над проектом, который использует tacotron2 TTS для создания человеческого голоса для робота. Я также хотел бы получить висемы от TTS, чтобы я мог синхронизировать анимацию лица робота с голосом. Как я могу получить висемы и продолжительность каждого из них с tacotron2?

Спасибо

Answer 1

Можете ли вы вытащить фонемы? Вы можете обратиться к этим таблицам фонем-визем, чтобы выполнить преобразование. Вы можете попробовать использовать espeak для преобразования текста -> фонемы. Если вы не возражаете, просто грубая синхронизация c, вы можете сравнить длительность вывода espeak с выводом tacotron2.