Мне нужно использовать pos-тегер в моем анализаторе, потому что мне нужны pos-теги для лемматизации терминов.Я хотел бы получить доступ к полному тексту, чтобы сделать мой pos-tagger точным.Дело в том, что анализатор, токенизаторы и фильтры предназначены для обработки отдельных токенов.Более того, tokenstream не может быть повторно использован, так что вы не можете сбросить () поток токенов много раз.