Алгоритм - нахождение порядка HMM по наблюдениям - PullRequest
0 голосов
/ 25 ноября 2018

Мне даны данные, которые состоят из N последовательностей переменных длин скрытых переменных и соответствующих им наблюдаемых переменных (т.е. у меня есть как скрытые переменные, так и наблюдаемые переменные для каждой последовательности).

Есть ли способ найти порядок K «лучшей» модели HMM для этих данных без исчерпывающего поиска?(обоснованные эвристики также законны).

1 Ответ

0 голосов
/ 04 января 2019

Я думаю, что в слове «порядок» может возникнуть путаница: HMM первого порядка - это HMM, матрица перехода которого зависит только от предыдущего состояния.HMM 2-го порядка - это HMM, матрица переходов которого зависит только от двух предыдущих состояний и т. Д.По мере увеличения порядка теория становится «толще» (т. Е. Уравнения), и очень немногие реализации таких сложных моделей реализуются в основных библиотеках.Поиск в вашем любимом браузере с ключевыми словами «HMM второго порядка» приведет вас к осмысленным прочтениям об этих моделях.

Если под заказом вы подразумеваете количество состояний и с предположениями, что вы используете отдельные распределенияназначенный каждому состоянию (т. е. вы не используете HMM со смесью распределений), тогда, действительно, единственный гиперпараметр, который вам нужно настроить, это количество состояний.

Вы можете оценить оптимальное количество состояний, используя такие критерии, какв качестве байесовского информационного критерия , Акайкеского информационного критерия или минимальной длины сообщения , которые основаны на вычислениях вероятности модели.Обычно использование этих критериев требует обучения нескольких моделей, чтобы можно было рассчитать некоторые значимые результаты вероятности для сравнения.

Если вы просто хотите получить размытое представление о хорошем K значении, которое может быть неоптимальным, то кластеризация по k-средним значениям в сочетании с объясненным процентом дисперсии может помочь: если кластеры X объясняют большечем, скажем, 90% дисперсии наблюдений в вашем тренировочном наборе, тогда хорошее начало - это HMM с X-состоянием.Три первых критерия интересны тем, что они включают штрафной член, который соответствует числу параметров модели и поэтому может предотвратить некоторое переоснащение.

Эти критерии также могут применяться, когда используются НММ на основе смеси, вВ этом случае необходимо настроить больше гиперпараметров (т. е. количество состояний и количество компонентов моделей смесей).

...