Где я могу найти тексты, которые описывают тематические события? - PullRequest
1 голос
/ 29 августа 2011

Итак, немного предыстории: я пытаюсь обучить систему ML отвечать на вопросы о событиях, где описания событий и вопросы задаются на естественном языке; описания событий ограничены тем, чтобы быть отдельными предложениями.

До сих пор главной проблемой было обнаружение корпуса, описывающего события с достаточно ограниченным словарным запасом, чтобы задавать подобные вопросы по всем событиям (например, если все события касались шахмат, я мог бы разумно спросить «какая часть сдвинулась»). ? 'и ответ может быть получен из приличного процента предложений с описанием события).

Имея это в виду, я надеюсь найти текстовый источник, который тесно сфокусирован на описании событий в какой-то довольно ограниченной теме (например, больше по шахматным комментариям, чем по шахматному форуму).

Хотя мне немного повезло с корпусом диалоговых окон авиадиспетчера , большинство предложений не являются типичными английскими (в них много Чарли, Танго и т. Д.). Однако, если формат такой, как я описал, актуальная тема фокуса не имеет значения, если она есть.

Поскольку я планирую построить свой собственный корпус из этого текста, пометки не требуются.

Ответы [ 2 ]

2 голосов
/ 01 сентября 2011

Корпус Reuters имеет довольно монотонный контент (коммерческие новости; назначения генеральных директоров, слияния и поглощения, крупные сделки и т. Д.); Я более знаком с многоязычным v2, но IIRC корпус v1 был одноязычным английским. Это будут новостные сюжеты с несколькими предложениями, но в соответствии с журналистскими соглашениями вы можете ожидать, что первое предложение сформирует разумный смысл всей истории. http://about.reuters.com/researchandstandards/corpus/

Вы также можете посмотреть другие материалы для соревнований TREC и особенно MUC; http://en.wikipedia.org/wiki/Message_Understanding_Conference

0 голосов
/ 01 сентября 2011

Рассматривали ли вы Usenet? У него есть несколько своеобразных соглашений, но что-то вроде rec.food.cooking может в целом соответствовать вашему описанию. http://groups.google.com/group/rec.food.cooking/ Посмотрите, например, на rec.sports.hockey или rec.games.video.arcade. Существует также корпус из 20 групп новостей, если вы ищете канонический, хорошо известный корпус, и он содержит по крайней мере некоторые материалы, связанные со спортом. http://people.csail.mit.edu/jrennie/20Newsgroups/

(Может быть, в вашей стране "широкой публике" комфортно с бейсболом. Здесь был бы футбол, знаете, тот, где вы не можете использовать свои руки.)

...