Вы просто хотите токены (слова)?Если это так, вы хотите что-то вроде:
Reader r; // initialized somehow by you
Tokenizer<CoreLabel> tokenizer = new PTBTokenizer<CoreLabel>(r, new CoreLabelTokenFactory(), "");
while (tokenizer.hasNext()) {
CoreLabel token = tokenizer.next();
System.out.println(token);
}
Или вы хотите фразы в дереве разбора?Если это так, вы должны получить возвращенное Дерево как в ParserDemo в дистрибутиве и использовать в нем фразы (поддеревья) (вы можете перебирать их:
Tree parse = lp.apply(sentence);
for (Tree subtree : tree) {
System.out.println(subtree);
}