Я пытаюсь добавить два значения в виде списка в фрейме данных. Одно - это Предложение, а другое - список слов, который я получил, после токенизации этих предложений
, сейчас я сделал следующеекод
from nltk.tokenize import word_tokenize
example = ['Mary had a little lamb' ,
'Jack went up the hill' ,
'Jill followed suit' ,
'i woke up suddenly' ,
'it was a really bad dream...']
def hi():
for i in example:
#print (word_tokenize(i),i)
a=[i,word_tokenize(i)]
print(a)
Ожидаемый результат будет
Кадр данных, имеющий два столбца, Исходное предложение и токены этого предложения
Пример
Оригинальное предложение |Жетоны
Меня зовут Макс |my, name, is, max
Это windows |Это Windows