Не могу распознать dtype int как int в вычислениях - PullRequest
0 голосов
/ 06 июня 2018

У меня есть два столбца (serverTs, FTs) в DataFrame, которые являются временными метками в формате Unix Time.В моем коде мне нужно вычесть одно из другого.Когда я сделал это, я получил сообщение о том, что не могу вычесть строки.Поэтому я добавил типы для serverTs и FT в виде целых чисел.

file = r'S:\Работа с клиентами\Клиенты\BigTV Rating\fts_check.csv'
col_names = ["Day", "vcId", "FTs", "serverTs", "locHost", "tnsTmsec", "Hits", "Uniqs"]
df_empty = pd.DataFrame()
with open(file) as fl:
    chunk_iter = pd.read_csv(fl, sep='\t', names=col_names, dtype={'serverTs': np.int32, 'FTs': np.int32}, chunksize = 100000)
    for chunk in chunk_iter:
        chunk['diff'] = np.array(chunk['serverTs'])-np.array(chunk['FTs'])
        chunk = chunk[chunk['diff'] > 180]
        df_empty = pd.concat([df_empty,chunk])  

Но программа выдает мне ошибку:

TypeError Traceback (последний вызов был последним) pandas / _libs / parsers.pyx в pandas._libs.parsers.TextReader._convert_tokens ()

TypeError: Невозможно привести массив из dtype ('O') к dtype ('int32') согласно правилу 'safe'

Во время обработки вышеупомянутого исключения произошло другое исключение:

ValueError Traceback (последний последний вызов) в () 6 #dtype = {'serverTs': np.int32, 'FTs': np.int32}, 7 #chunk_iter = chunk_iter.astype ({'serverTs': np.int32, 'FTs': np.int32}) ----> 8 для чанка в chunk_iter: 9 #print (chunk [chunk ['FTs')] == 'NaN']) 10 #chunk [['serverTs', 'FTs']] = chunk [['serverTs', 'FTs']]. Astype ('int32')

C:\ ProgramData \ Anaconda3 \ lib \ site-packages \ pandas \ io \ parsers.py в следующий (self) 1040 def следующий (self): 1041 try: -> 1042 return self.get_chunk () 1043, кроме StopItered: 1044 self.close ()

C:\ ProgramData \ Anaconda3 \ lib \ site-packages \ pandas \ io \ parsers.py в get_chunk (self, size) 1104 повысить StopIteration
1105 size = min (размер, self.nrows - self._currow) -> 1106 returnself.read (nrows = размер) 1107 1108

C: \ ProgramData \ Anaconda3 \ lib \ site-packages \ pandas \ io \ parsers.py в режиме чтения (self, nrows) 1067 повышают ValueError ('skipfooter notподдерживается для итерации ') 1068 -> 1069 ret = self._engine.read (nrows) 1070 1071, если self.options.get (' as_recarray '):

C: \ ProgramData \ Anaconda3 \ lib \ site-пакеты \ pandas \ io \ parsers.py в режиме чтения (self, nrows) 1837 def read (self, nrows = None): 1838
try: -> 1839 data = self._reader.read (nrows) 1840 кроме StopItered:1841, если self._first_chunk:

pandas / _libs / parsers.pyx в pandas._libs.parsers.TextReader.read ()

pandas / _libs / parsers.pyx в pandas._libs.parsers.TextReader._read_low_memory ()

pandas / _libs / parsers.pyx в pandas._libs.parsers.TextReader._read_rows ()

pandas / _libs / parsers.pyx вpandas._libs.parsers.TextReader._convert_column_data ()

pandas / _libs / parsers.pyx в pandas._libs.parsers.TextReader._convert_tokens ()

Ошибка значения: недопустимый литерал для int ()с основанием 10: 'FTs'

Я беру данные из Hadoop с запросами SQL, поэтому я проверил наличие любого символа с буквами, но есть только цифры.Более того, если в FT есть символы, которые не являются числами, они не могут появиться в базе данных.В чем может быть проблема?

1 Ответ

0 голосов
/ 06 июня 2018

Проблема в том, что вы передаете names вместе с dtypes аргументом.Это заставляет header действовать как None.Итак, рассмотрим:

In [1]: import pandas as pd, numpy as np

In [2]: dt={'serverTs': np.int32, 'FTs': np.int32}

In [3]: import io

In [4]: s = """FTs,serverTs
   ...: 0,1
   ...: 1,2
   ...: """

In [5]: pd.read_csv(io.StringIO(s))
Out[5]:
   FTs  serverTs
0    0         1
1    1         2

In [6]: pd.read_csv(io.StringIO(s), dtype=dt)
Out[6]:
   FTs  serverTs
0    0         1
1    1         2

Работает нормально.Однако, если я передам names:

In [8]: names = 'FTs','serverTs'

In [9]: pd.read_csv(io.StringIO(s), dtype=dt, names=names)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()

TypeError: Cannot cast array from dtype('O') to dtype('int32') according to the rule 'safe'

During handling of the above exception, another exception occurred:

ValueError                                Traceback (most recent call last)
<ipython-input-9-18dcd5477b7e> in <module>()
----> 1 pd.read_csv(io.StringIO(s), dtype=dt, names=names)

/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
    707                     skip_blank_lines=skip_blank_lines)
    708
--> 709         return _read(filepath_or_buffer, kwds)
    710
    711     parser_f.__name__ = name

/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
    453
    454     try:
--> 455         data = parser.read(nrows)
    456     finally:
    457         parser.close()

/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in read(self, nrows)
   1067                 raise ValueError('skipfooter not supported for iteration')
   1068
-> 1069         ret = self._engine.read(nrows)
   1070
   1071         if self.options.get('as_recarray'):

/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in read(self, nrows)
   1837     def read(self, nrows=None):
   1838         try:
-> 1839             data = self._reader.read(nrows)
   1840         except StopIteration:
   1841             if self._first_chunk:

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()

ValueError: invalid literal for int() with base 10: 'FTs'

In [10]:

Таким образом, одно из решений - передать правильный индекс заголовка:

In [10]: pd.read_csv(io.StringIO(s), dtype=dt, names=names, header=0)
Out[10]:
   FTs  serverTs
0    0         1
1    1         2

Или еще лучше, не пропустите namesВ любом случае, pandas все равно выведет это для вас:

In [11]: pd.read_csv(io.StringIO(s), dtype=dt)
Out[11]:
   FTs  serverTs
0    0         1
1    1         2
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...