н граммы в Apache Mahout

Question

Я запускаю алгоритм наивного байесовского классификатора через apache mahout. У нас есть возможность установить размер грамма во время обучения и запуска экземпляра алгоритма.

Изменение размера моего n-грамма с 1 на 2 резко меняет результирующую классификацию. Почему это происходит? Как размер n-граммов радикально меняет результат?

Answer 1

1-грамм это слова. 2 грамма (или биграммы) - это пары слов. Это похоже на классификацию документов, основанных на существовании "Соединенных Штатов" и "Соединенных Штатов" или "Соединенных Штатов". Использование биграмм может повлиять на пространство и производительность, но, вероятно, даст лучшие результаты, чем 1 грамм.