Если я запускаю следующий код:
from nltk.tokenize import word_tokenize
text = "God is Great! I won a lottery."
print(word_tokenize(text))
Я получаю этот вывод: ['God', 'is', 'Great', '!', 'I', 'won', 'a', 'lottery', '.']
В этом случае токены в списке появляются в том же порядке, что и онинаходятся во входном предложении.
Однако всегда ли они находятся в том же порядке, что и во входном предложении?