как предварительно обработать файл твитов csv? - PullRequest
Новая
       28

как предварительно обработать файл твитов csv?

0 голосов
/ 23 марта 2020

У меня есть CSV-файл из 10K твитов, который содержит всю информацию, такую ​​как идентификатор, местоположение, текст твита, ... Для анализа настроений сначала я должен предварительно обработать эти твиты, в которых я использую следующий код, и моя машина - IMA C with Python 3.6: 

import csv
import re
import numpy as np
from nltk.tokenize import word_tokenize
from string import punctuation
from string import punctuation 
from nltk.corpus import stopwords
class PreProcessTweets:
    def __init__(self):
        self._stopwords = set(stopwords.words('english') + list(punctuation) + ['AT_USER','URL'])

    def processTweets(self, list_of_tweets):
        processedTweets=[]
        for tweet in list_of_tweets:
            processedTweets.append((self._processTweet(tweet["text"]),tweet["label"]))
        return processedTweets

    def _processTweet(self, tweet):
        tweet = tweet.lower() # convert text to lower-case
        tweet = re.sub('((www\.[^\s]+)|(https?://[^\s]+))', 'URL', tweet) # remove URLs
        tweet = re.sub('@[^\s]+', 'AT_USER', tweet) # remove usernames
        tweet = re.sub(r'#([^\s]+)', r'\1', tweet) # remove the # in #hashtag
        tweet = word_tokenize(tweet) # remove repeated characters (helloooooooo into hello)
        return [word for word in tweet if word not in self._stopwords]
testDataSet= open("Twitter_data.csv")
tweetProcessor = PreProcessTweets()

preprocessedTestSet = tweetProcessor.processTweets(testDataSet)

, но я получаю следующую ошибку: 

TypeError: string indices must be integers

как я могу исправить этот код, чтобы правильно предварительно обработать мой CSV-файл?

...