Как разобрать список предложений? - PullRequest
Новая
       5

Как разобрать список предложений?

9 голосов
/ 13 февраля 2011

Я хочу проанализировать список предложений с помощью анализатора Stanford NLP.Мой список ArrayList, как я могу разобрать весь список с LexicalizedParser?

Я хочу получить из каждого предложения эту форму: 

Tree parse =  (Tree) lp1.apply(sentence);

Ответы [ 3 ]

20 голосов
/ 28 января 2014

Хотя можно покопаться в документации, я собираюсь предоставить здесь код на SO, особенно с учетом того, что ссылки перемещаются и / или умирают.Этот конкретный ответ использует весь конвейер.Если меня не интересует весь конвейер, я предоставлю альтернативный ответ всего за секунду.

Приведенный ниже пример представляет собой полный способ использования Стэнфордского конвейера.Если вас не интересует разрешение ссылок, удалите dcoref из 3-й строки кода.Таким образом, в приведенном ниже примере конвейер выполняет разбиение предложения для вас (аннотатор ssplit), если вы просто подаете его в теле текста (текстовая переменная).Есть только одно предложение?Ну, это нормально, вы можете указать это как текстовую переменную. 

   // creates a StanfordCoreNLP object, with POS tagging, lemmatization, NER, parsing, and coreference resolution 
    Properties props = new Properties();
    props.put("annotators", "tokenize, ssplit, pos, lemma, ner, parse, dcoref");
    StanfordCoreNLP pipeline = new StanfordCoreNLP(props);

    // read some text in the text variable
    String text = ... // Add your text here!

    // create an empty Annotation just with the given text
    Annotation document = new Annotation(text);

    // run all Annotators on this text
    pipeline.annotate(document);

    // these are all the sentences in this document
    // a CoreMap is essentially a Map that uses class objects as keys and has values with custom types
    List<CoreMap> sentences = document.get(SentencesAnnotation.class);

    for(CoreMap sentence: sentences) {
      // traversing the words in the current sentence
      // a CoreLabel is a CoreMap with additional token-specific methods
      for (CoreLabel token: sentence.get(TokensAnnotation.class)) {
        // this is the text of the token
        String word = token.get(TextAnnotation.class);
        // this is the POS tag of the token
        String pos = token.get(PartOfSpeechAnnotation.class);
        // this is the NER label of the token
        String ne = token.get(NamedEntityTagAnnotation.class);       
      }

      // this is the parse tree of the current sentence
      Tree tree = sentence.get(TreeAnnotation.class);

      // this is the Stanford dependency graph of the current sentence
      SemanticGraph dependencies = sentence.get(CollapsedCCProcessedDependenciesAnnotation.class);
    }

    // This is the coreference link graph
    // Each chain stores a set of mentions that link to each other,
    // along with a method for getting the most representative mention
    // Both sentence and token offsets start at 1!
    Map<Integer, CorefChain> graph = 
      document.get(CorefChainAnnotation.class);
1 голос
/ 28 января 2014

Итак, как и было обещано, если вы не хотите получать доступ к полному конвейеру Стэнфорда (хотя я считаю, что это рекомендуемый подход), вы можете напрямую работать с классом LexicalizedParser.В этом случае вы должны загрузить последнюю версию Stanford Parser (в то время как другой использует инструменты CoreNLP).Убедитесь, что в дополнение к jar анализатора у вас есть файл модели для соответствующего анализатора, с которым вы хотите работать.Пример кода: 

LexicalizedParser lp1 = new LexicalizedParser("englishPCFG.ser.gz", new Options());
String sentence = "It is a fine day today";
Tree parse = lp.parse(sentence);

Обратите внимание, что это работает для парсера версии 3.3.1.

1 голос
/ 12 января 2012

На самом деле документация от Stanford NLP предоставляет пример того, как разбирать предложения.

Вы можете найти документацию здесь

...