Я ограничил слова в твитах словами содержания, теперь я хочу преобразовать слова в нижний регистр и добавить POS с подчеркиванием

Question

Я написал приведенный ниже код и ограничил слова в твитах содержательными словами, то есть существительными, глаголами и прилагательными. Теперь я хочу преобразовать слова в нижний регистр и добавить POS с подчеркиванием. Например:

love_VERB old fashioneds_NOUN, но я не знаю как, может ли кто-нибудь мне помочь?

! pip install wget
import wget
url = 'https://raw.githubusercontent.com/dirkhovy/NLPclass/master/data/reviews.full.tsv.zip'
wget.download(url, 'reviews.full.tsv.zip')


from zipfile import ZipFile
with ZipFile('reviews.full.tsv.zip', 'r') as zf:
    zf.extractall()


import pandas as pd
df = pd.read_csv('reviews.full.tsv', sep='\t', nrows=100000) # nrows , max amount of rows 
documents = df.text.values.tolist()
print(documents[:4])


import spacy

nlp = spacy.load('en_core_web_sm') #you can use other methods
# excluded tags
included_tags = {"NOUN", "VERB", "ADJ"}
#document = [line.strip() for line in open('moby_dick.txt', encoding='utf8').readlines()]

sentences = documents[:103] #first 10 sentences
new_sentences = []
for sentence in sentences:
    new_sentence = []
    for token in nlp(sentence):
        if token.pos_  in included_tags:
            new_sentence.append(token.text)
    new_sentences.append(" ".join(new_sentence))

#Creates a list of lists of tokens
tokens = [[token.text for token in nlp(new_sentence)] for new_sentence in documents[:200]]
tokens

# import itertools
# tok = itertools.chain.from_iterable(
#    [[token.text for token in nlp(new_sentence)] for new_sentence in documents[:200]])

# tok

Answer 1

Я считаю, что если вы измените

        new_sentence.append(token.text)

на

        new_sentence.append(token.text.lower()+'_'+token.POS)

, у вас будет то, что вам нужно.