Я пытаюсь создать функцию, которая python позволяет мне токенизировать строку символов. Я выполнил следующую функцию:
def tokenize(string):
words = nltk.word_tokenize(string)
return words
Эта функция печатает следующее:
tokenize("Hello. What’s your name?")
['Hello', '.', 'What', '’', 's', 'your', 'name', '?']
Но мне нужно, чтобы вы распечатали меня следующим образом:
['Hello', '.', 'What’s', 'your', 'name', '?']
Как я могу это реализовать ?. Спасибо