Они одинаковы. Ответ состоял в том, что вы должны были вызвать парсер таким образом, чтобы вызвать токенизацию ввода. Вот некоторые примеры:
LexicalizedParser lp = LexicalizedParser.loadModel("edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz");
String sent = "This is one last test!";
lp.apply(sent).pennPrint();
или в более сложном сценарии:
TreebankLanguagePack tlp = lp.getOp().langpack();
Tokenizer<? extends HasWord> toke = tlp.getTokenizerFactory().getTokenizer(new StringReader(sent));
List<? extends HasWord> sentence = toke.tokenize();
lp.apply(sentence);