Я пытался заставить модель языка на уровне слов работать на lingpipe.Все примеры и учебники, с которыми я столкнулся, показывают модель персонажа и граммы.Как мне использовать lingpipe для обучения модели на уровне слов, а затем использовать эту модель для тестирования ее на других документах?
Кроме того, я заметил, что TokenizedLM не сериализуем.Разве я не могу сохранить его и загрузить позже, не проходя переподготовку каждый раз?
Наконец, есть ли какие-либо другие фреймворки / инструменты, которые позволили бы мне делать это без какого-либо программирования на моемчасть