Проблемы с чтением readme.md с пандами - PullRequest
Новая
       11

Проблемы с чтением readme.md с пандами

0 голосов
/ 06 ноября 2018

РЕДАКТИРОВАТЬ: забыл упомянуть, что это должно быть сделано в пандах

У меня небольшая проблема с чтением определенного файла в кадр данных pandas. Я пробовал: 

import pandas as pd
import matplotlib.pyplot as plt

dataframe = pd.read_csv('/home/leon/Desktop/Uni/ML Lab/Text.txt', 
delim_whitespace=True, header=None)
print(dataframe)

Если я попробую его с .txt, содержащим что-то вроде «Привет, это тест», он будет работать нормально, но при попытке фактического readme.md я получаю сообщение об ошибке: 

---------------------------------------------------------------------------
ParserError                               Traceback (most recent call last)
<ipython-input-47-231496e21612> in <module>()
      2 import matplotlib.pyplot as plt
      3 
----> 4 dataframe = pd.read_csv('/home/leon/Desktop/Uni/ML Lab/Text.txt', delim_whitespace=True, header=None)
      5 print(dataframe)

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, doublequote, delim_whitespace, low_memory, memory_map, float_precision)
    676                     skip_blank_lines=skip_blank_lines)
    677 
--> 678         return _read(filepath_or_buffer, kwds)
    679 
    680     parser_f.__name__ = name

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
    444 
    445     try:
--> 446         data = parser.read(nrows)
    447     finally:
    448         parser.close()

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
   1034                 raise ValueError('skipfooter not supported for iteration')
   1035 
-> 1036         ret = self._engine.read(nrows)
   1037 
   1038         # May alter columns / col_dict

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
   1846     def read(self, nrows=None):
   1847         try:
-> 1848             data = self._reader.read(nrows)
   1849         except StopIteration:
   1850             if self._first_chunk:

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()

ParserError: Error tokenizing data. C error: Expected 5 fields in line 3, saw 10

Я читаю это в информационный кадр, чтобы я мог посчитать количество уникальных слов и вхождение слов в целом. Я прошу прощения за этот вопрос новичка, но я только начал с Python! Привет.

Ответы [ 2 ]

0 голосов
/ 06 ноября 2018

Посмотрите, поможет ли это: 

>>> import pandas as pd
>>> dataframe  = pd.read_table('README.md.1', skip_blank_lines=True)
>>> dataframe = dataframe.rename(columns={'# Tensorflow Object Detection API':'Tensorflow'}
>>> dataframe.head()
                                          Tensorflow
0  Creating accurate machine learning models capa...
1  multiple objects in a single image remains a c...
2  The TensorFlow Object Detection API is an open...
3  TensorFlow that makes it easy to construct, tr...
4  models.  At Google we’ve certainly found this ...
0 голосов
/ 06 ноября 2018

A pandas датафрейм не подходит для этой задачи. Вы должны просто загрузить файл, разбить на строку, а затем оттуда собрать совокупные значения. Вы можете достичь этого, прочитав файл, разделив его на строки, а затем сгладив получившийся список. Наконец, вы можете затем агрегировать, используя Counter из collections. 

from collections import Counter

with open("README.md") as f:
    file_split = [line.split() for line in f]

file_split_flatten = [val for sublist in file_split for val in sublist]

count_dict = dict(zip(Counter(file_split_flatten).keys(), Counter(file_split_flatten).values()))

Затем для доступа к счетчику просто выполните: 

print(count_dict['Tensorflow'])
...