Я думаю, что это правильно.Вы правильно зацикливаетесь.Тем не менее, вы не добавляете слова в список?Вы хотите этим заниматься?
Таким образом, для первого вы можете использовать
my_list = []
for word in mytokens:
if word.lemma_ != "-PRON-":
my_list.append(word.lemma_.lower().strip())
else:
my_list.append(word.lower_)
Добавив их в список, подобный этому, это означает, что вы можете напрямую сравнивать вывод вашего перевода и вывод понимания списка.mytokens
должен быть точно таким же, как my_list
, если все сделано правильно.
Также есть небольшая ошибка во втором переводе.Это должно быть:
for word in mytokens:
if word not in stopwords and word not in punctuations:
yield word
Вы также можете изменить этот второй перевод, чтобы добавить все свои слова в список.