Я уверен, что это существует, но, к сожалению, я не могу найти подходящие ключевые слова для поиска чего-либо в Google Scholar или тому подобном:
В классической языковой модели вы подсчитываете последовательности и по этим подсчетам вычисляете условную вероятность p(w|h) слова w с учетом истории h.
Обычно h считается последовательностью слов. Но вы также можете считать h сумкой слов.
Обратите внимание, что я не ищу модели языка нейронной сети cbow, если не ошибаюсь, полагая, что они на самом деле не считают пакет контекстных слов, а подают каждый образец hw отдельно в модель.
Моя главная мысль заключается в том, что это, очевидно, интересно для языков со свободным порядком слов, и что вы, вероятно, будете использовать не дерево подсчета, а полурешётку подсчета.
Есть ли научные ссылки на такие языковые модели, как описано выше?