Сохраняйте функции в CSV-файле при машинном обучении нормализации текста с помощью Python - PullRequest
Новая
       18

Сохраняйте функции в CSV-файле при машинном обучении нормализации текста с помощью Python

0 голосов
/ 08 ноября 2019

Я действительно новичок в питоне. Я пытаюсь разобрать свой набор данных специальным образом.

Итак, у меня есть файл .csv, такой как

enter image description here

Это должнобыть похож на

enter image description here

Я использую этот кодовый блок для разбора слов; 

dataset = pandas.read_csv('/root/Desktop/%20/%1004.csv' , encoding='cp1252')


for line in dataset['text']:
    words = line.split()
    for word in words:

        tokenize = word_tokenize(word.translate(table))
        stopwords= [w for w in tokenize if not w in stop_words]
        punc = [token for token in stopwords if not all(char.isdigit() or char == '.' or char == '-' for char in token)]
        lemmatized_word = [wordnet_lemmatizer.lemmatize(word) for word in punc]
        stemmed_word = [snowball_stemmer.stem(word) for word in lemmatized_word]
        print(stemmed_word)

Мой вывод:

enter image description here

Пример моего набора данных:

enter image description here

Итак, как мне проанализировать мой набор данных какупомянутое выше ? и как я могу записать их в CSV-файл?

Дублированная тема на самом деле не является ответом на мой вопрос. Это говорит о падении.

...