Tokenizing полный CSV, приводящий только к последней строке?

Question

Я хочу токенизировать мой полный CSV.Приведенный ниже код откроет все CSV и распечатает его.Когда я пытаюсь токенизировать его, он маркирует только последнюю строку CSV, а не полную CSV.Может кто-нибудь помочь мне токенизировать полный CSV?

import nltk
from nltk.tokenize import sent_tokenize, word_tokenize

with open ('OCD_lookup.csv') as file_object:
    for OCDline in file_object:
        print(OCDline)
tokens = word_tokenize(EAline)
print(tokens)

Answer 1

Если вы хотите токенизировать весь текст в вашем CSV-файле, вам придется пройти через строки и поля в этих строках

import nltk
from nltk.tokenize import sent_tokenize, word_tokenize

complete_list=[]
with open ('OCD_lookup.csv') as file_object:
    for OCDline in file_object:
        complete_list+=word_tokenize(OCDline)