Хотите самые популярные слова на английском - PullRequest
1 голос
/ 02 сентября 2010

Я хочу наиболее частые слова на английском языке. По сути, я обрабатываю текст из Википедии и застрял на большом количестве слов даже после удаления стоп-слов. Я пробовал поискать часто встречающиеся слова, но получил ссылку ниже.

http://en.wiktionary.org/wiki/Wiktionary:Frequency_lists#English

Я должен вручную почистить данные по этой ссылке. Есть ли известный источник для этих слов, который можно напрямую загрузить?

Спасибо

1 Ответ

2 голосов
/ 02 сентября 2010

Как и во всей статистике, ваш ответ будет зависеть от того, что вы выбираете. Является ли ваше определение «английский» - язык, используемый в Википедии. Поскольку страница, на которую вы ссылаетесь, предполагает, что частота слов отличается в зависимости от разных образцов. Выполнение обзора литературы по языковой обработке может дать вам устаревший список.

И доверьтесь кому-нибудь сделать сайт с таким именем - wordfrequency . Более конкретно это .

...