Как избежать декодирования в str: нужна байтоподобная ошибка объекта в пандах? - PullRequest
Новая
       10

Как избежать декодирования в str: нужна байтоподобная ошибка объекта в пандах?

0 голосов
/ 16 декабря 2018

Вот мой код: 

data = pd.read_csv('asscsv2.csv', encoding = "ISO-8859-1", error_bad_lines=False);
data_text = data[['content']]
data_text['index'] = data_text.index
documents = data_text

Это выглядит как 

print(documents[:2])
                                              content  index
 0  Pretty extensive background in Egyptology and ...      0
 1  Have you guys checked the back end of the Sphi...      1

И я определяю функцию предварительной обработки, используя gensim 

stemmer = PorterStemmer()
def lemmatize_stemming(text):
    return stemmer.stem(WordNetLemmatizer().lemmatize(text, pos='v'))
def preprocess(text):
    result = []
    for token in gensim.utils.simple_preprocess(text):
        if token not in gensim.parsing.preprocessing.STOPWORDS and len(token) > 3:
            result.append(lemmatize_stemming(token))
    return result

И когда яиспользуйте эту функцию: 

processed_docs = documents['content'].map(preprocess)

Появляется 

TypeError: decoding to str: need a bytes-like object, float found

Как кодировать мой CSV-файл в байтовый объект или как избежать такого рода ошибок?

1 Ответ

0 голосов
/ 16 декабря 2018

Ваши данные имеют NaNs (не число).

Вы можете либо отбросить их первыми: 

documents = documents.dropna(subset=['content'])

Или вы можете заполнить все NaNs пустой строкой, преобразовать столбец в строковый тип и затем отобразить вашу строковую функцию.

documents['content'].fillna('').astype(str).map(preprocess)

Это потому, что ваш препроцесс функции имеет вызовы функций, которые принимают только строковый тип данных.

Редактировать:

Как узнать, чтоваши данные содержат NaNs?Numpy Nan считаются значениями с плавающей точкой 

>>> import numpy as np
>>> type(np.nan)
<class 'float'>
...