Как сгладить униграммы

Question

У меня есть модель языка униграмм, и я хочу сгладить счет.Это только один способ сглаживания, или я могу использовать другое сглаживание?Я не думаю, что мы можем использовать Knesser Nay, как это для Nграмм с N> = 2.Любой другой метод сглаживания вы знаете?

Как насчет Виттен Белл?

Answer 1

Для сглаживания униграмм Good-Turing будет оптимальным ... и его легко (применить)!

http://en.wikipedia.org/wiki/Good%E2%80%93Turing_frequency_estimation

Для более высоких порядков модифицированный интерполированный Кнезер-Нейхороший выбор.