Натуральные английские слова

Question

Мне нужен самый исчерпывающий список английских слов, который я могу найти для нескольких типов операций языковой обработки, но я не смог найти в Интернете ничего достаточно хорошего качества.

В английском языке имеется 1 000 000 слов, включая иностранные и / или технические слова.

Не могли бы вы предложить такой источник (или около 500 тыс. Слов), который можно загрузить из Интернета, который может быть немного классифицирован? Какой ввод вы используете для ваших языковых приложений обработки

Answer 1

Списки слов Кевина - лучшее, что я знаю, только для списков слов.

WordNet лучше, если вы хотите узнать о существительных, глаголах и т. Д., Синонимах и т. Д.

Answer 2

` Мистификация" миллион слов "катится по ', я вижу ;-)

Как сделать ваши списки слов длиннее: с учетом существительного добавьте в него любое из следующего: non-, pseudo-, semi-, -arific, -geek, ...; mutatis mutandis для глаголов и т. Д.

Answer 3

Я проводил исследования для Purdue по обработке контролируемого / естественного английского языка и знания предметной области.

Я бы взглянул на проект попытки: http://attempto.ifi.uzh.ch/site/description/, который является проектом, помогающим создать контролируемый естественный английский.

Вы можете скачать всю их лексику по адресу: http://attempto.ifi.uzh.ch/site/downloads/files/clex-6.0-080806.zip, в ней ~ 100 000 естественных английских слов.

Вы также можете предоставить свой собственный словарь для доменных слов, это то, что мы сделали в нашем исследовании. Они предлагают веб-сервисы для анализа и форматирования естественного английского текста.

Answer 4

Кто сказал вам, что было 1 миллион слов? Согласно Википедии , Оксфордский словарь английского языка содержит только 600 000 слов. И OED пытается включить все технические и сленговые термины, которые используются.

Answer 5

Попробуйте напрямую выдержки из Википедии: http://dbpedia.org

Answer 6

Не так уж много базовых слов (171k согласно этому - Оксфорд . Это то, что я помню, когда мне рассказывали в моей программе CS в колледже. Но если включить все формы слов - тогда это значительно возрастает.

Тем не менее, почему бы не сделать его самостоятельно? Получите дамп Википедии, проанализируйте его и создайте набор всех токенов, с которыми вы столкнетесь.

Ожидайте ошибочных написаний, хотя, как и все другие источники, будут ошибки.