Панды read_csv с разными парсерами даты - PullRequest
Новая
       8

Панды read_csv с разными парсерами даты

0 голосов
/ 30 апреля 2018

У меня есть csv-файл с данными временного ряда, первый столбец - это дата в формате %Y:%m:%d, а второй столбец - это внутридневное время в формате «% H:% M:% S». Я хотел бы импортировать этот CSV-файл в мультииндексный объект данных или панель.

С этим кодом он уже работает: 

    _file_data = pd.read_csv(_file,
                         sep=",",
                         header=0,
                         index_col=['Date', 'Time'],
                         thousands="'",
                         parse_dates=True,
                         skipinitialspace=True
                         )

Возвращает данные в следующем формате: 

Date         Time                   Volume
2016-01-04   2018-04-25 09:01:29    53645
             2018-04-25 10:01:29    123
             2018-04-25 10:01:29    1345
             ....
2016-01-05   2018-04-25 10:01:29    123
             2018-04-25 12:01:29    213
             2018-04-25 10:01:29    123

1-й вопрос: Я хотел бы показать второй индекс как чистый объект времени, а не как дату и время. Чтобы сделать это, я должен объявить два разных даты в функции read_csv, но я не могу понять, как это сделать. Каков «лучший» способ сделать это?

2-й вопрос: После того, как я создал Dataframe, я преобразовал его в объект панели. Вы бы порекомендовали это сделать? Является ли панель-объект лучшим выбором для такой структуры данных? Каковы преимущества (недостатки) панели-объекта?

Ответы [ 2 ]

0 голосов
/ 02 мая 2018

1-й вопрос :

Вы можете создать несколько converters и определить парсеры в словаре: 

import pandas as pd

temp=u"""Date,Time,Volume
2016:01:04,09:00:00,53645
2016:01:04,09:20:00,0
2016:01:04,09:40:00,0
2016:01:04,10:00:00,1468
2016:01:05,10:00:00,246
2016:01:05,10:20:00,0
2016:01:05,10:40:00,0
2016:01:05,11:00:00,0
2016:01:05,11:20:00,0
2016:01:05,11:40:00,0
2016:01:05,12:00:00,213"""

def converter1(x):
    #convert to datetime and then to times
    return pd.to_datetime(x).time()

def converter2(x):
    #define format of datetime
    return pd.to_datetime(x, format='%Y:%m:%d')

#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), 
                 index_col=['Date','Time'], 
                 thousands="'",
                 skipinitialspace=True,
                 converters={'Time': converter1, 'Date': converter2})

print (df)
                     Volume
Date       Time            
2016-01-04 09:00:00   53645
           09:20:00       0
           09:40:00       0
           10:00:00    1468
2016-01-05 10:00:00     246
           10:20:00       0
           10:40:00       0
           11:00:00       0
           11:20:00       0
           11:40:00       0
           12:00:00     213

Иногда возможно использование встроенного парсера, например если формат дат YY-MM-DD: 

import pandas as pd

temp=u"""Date,Time,Volume
2016-01-04,09:00:00,53645
2016-01-04,09:20:00,0
2016-01-04,09:40:00,0
2016-01-04,10:00:00,1468
2016-01-05,10:00:00,246
2016-01-05,10:20:00,0
2016-01-05,10:40:00,0
2016-01-05,11:00:00,0
2016-01-05,11:20:00,0
2016-01-05,11:40:00,0
2016-01-05,12:00:00,213"""

def converter(x):
    #define format of datetime
    return pd.to_datetime(x).time()

#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), 
                 index_col=['Date','Time'], 
                 parse_dates=['Date'],
                 thousands="'",
                 skipinitialspace=True,
                 converters={'Time': converter})

print (df.index.get_level_values(0))
DatetimeIndex(['2016-01-04', '2016-01-04', '2016-01-04', '2016-01-04',
               '2016-01-05', '2016-01-05', '2016-01-05', '2016-01-05',
               '2016-01-05', '2016-01-05', '2016-01-05'],
              dtype='datetime64[ns]', name='Date', freq=None)

Последнее возможное решение - преобразовать datetime во времена в MultiIndex на set_levels - после обработки: 

df.index = df.index.set_levels(df.index.get_level_values(1).time, level=1)
print (df)
                     Volume
Date       Time            
2016-01-04 09:00:00   53645
           09:20:00       0
           09:40:00       0
           10:00:00    1468
2016-01-05 10:00:00     246
           10:00:00       0
           10:20:00       0
           10:40:00       0
           11:00:00       0
           11:20:00       0
           11:40:00     213

2-й вопрос :

Панель в пандах 0,20. + устарела и будет удалена в следующей версии.

0 голосов
/ 30 апреля 2018

Для преобразования во временной ряд используйте pd.to_timedelta.

Ex: 

import pandas as pd
df = pd.DataFrame({"Time": ["2018-04-25 09:01:29", "2018-04-25 10:01:29", "2018-04-25 10:01:29"]})
df["Time"] = pd.to_timedelta(pd.to_datetime(df["Time"]).dt.strftime('%H:%M:%S'))
print df["Time"]

Выход: 

0   09:01:29
1   10:01:29
2   10:01:29
Name: Time, dtype: timedelta64[ns]
...