Я не думаю, что использование скрытой марковской модели действительно было бы более автономным. Это будет просто следовать более непрозрачным правилам модели, а не явным правилам конечного автомата. Это все еще детерминистично. Единственная неопределенность, которую они приносят, это наблюдателю, у которого нет простого набора правил, на котором можно основывать прогнозы.
Это не значит, что их нельзя эффективно использовать - если я правильно помню, несколько ботов для игр FPS использовали такую систему, чтобы учиться у игроков и разрабатывать собственный ИИ.
Но это зависит именно от того, что вы хотите смоделировать с процессом. ИИ на самом деле не об алгоритмах, а о представлении. Если все, что вы делаете, это выбираете те же состояния, которые есть у вашего текущего FSM, и наблюдаете за переходами существующего игрока, вы вряд ли получите лучшую систему, чем опытный советник, тщательно настроенный для FSM.
Учитывая, что вам не удастся реализовать «какой-то реальный интеллект», как это в настоящее время рассматривается за пределами современной науки, что вы хотите создать? Это система, которая учится на собственных экспериментах? Система, которая учится, наблюдая за людьми? Тот, который преднамеренно вводит необычные выборы, чтобы противнику было труднее предсказывать?