Хотите самые популярные слова на английском

Question

Я хочу наиболее частые слова на английском языке. По сути, я обрабатываю текст из Википедии и застрял на большом количестве слов даже после удаления стоп-слов. Я пробовал поискать часто встречающиеся слова, но получил ссылку ниже.

http://en.wiktionary.org/wiki/Wiktionary:Frequency_lists#English

Я должен вручную почистить данные по этой ссылке. Есть ли известный источник для этих слов, который можно напрямую загрузить?

Спасибо

Answer 1

Как и во всей статистике, ваш ответ будет зависеть от того, что вы выбираете. Является ли ваше определение «английский» - язык, используемый в Википедии. Поскольку страница, на которую вы ссылаетесь, предполагает, что частота слов отличается в зависимости от разных образцов. Выполнение обзора литературы по языковой обработке может дать вам устаревший список.

И доверьтесь кому-нибудь сделать сайт с таким именем - wordfrequency . Более конкретно это .