Если я разделю предложение с помощью nltk.tokenize.word_tokenize()
, а затем воссоединюсь с ' '.join()
, это не будет точно так же, как оригинал, потому что слова с пунктуацией внутри них будут разбиты на отдельные токены.
Как программно воссоединитьсякак это было раньше?
from nltk import word_tokenize
sentence = "Story: I wish my dog's hair was fluffier, and he ate better"
print(sentence)
=> Story: I wish my dog's hair was fluffier, and he ate better
tokens = word_tokenize(sentence)
print(tokens)
=> ['Story', ':', 'I', 'wish', 'my', 'dog', "'s", 'hair', 'was', 'fluffier', ',', 'and', 'he', 'ate', 'better']
sentence = ' '.join(tokens)
print(sentence)
=> Story : I wish my dog 's hair was fluffier , and he ate better
Обратите внимание, :
и 's
отличаются от оригинала.