Неизвестный формат строки в pd.to_datetime

Question

У меня есть набор данных с датой столбца, такой как:

cod           date              value 
0   1O8        2015-01-01 00:00:00    2.1
1   1O8        2015-01-01 01:00:00    2.3
2   1O8        2015-01-01 02:00:00    3.5
3   1O8        2015-01-01 03:00:00    4.5
4   1O8        2015-01-01 04:00:00    4.4
5   1O8        2015-01-01 05:00:00    3.2
6   1O9        2015-01-01 00:00:00    1.4
7   1O9        2015-01-01 01:00:00    8.6
8   1O9        2015-01-01 02:00:00    3.3
10  1O9        2015-01-01 03:00:00    1.5
11  1O9        2015-01-01 04:00:00    2.4
12  1O9        2015-01-01 05:00:00    7.2

dtypes даты столбца является объектом, для применения некоторой функции после того, как мне нужно изменить тип столбца даты на datatime,Я пробую другое решение, например:

pd.to_datetime(df['date'], errors='raise', format ='%Y-%m-%d HH:mm:ss')
pd.to_datetime(df['date'], errors='coerce', format ='%Y-%m-%d HH:mm:ss')
df['date'].apply(pd.to_datetime, format ='%Y-%m-%d HH:mm:ss')

Но ошибка все та же:

TypeError: Unrecognized value type: <class 'str'>
ValueError: Unknown string format

Суть в том, что если я применяю функцию te к выборке набора данных,функция отвечает правильно, но если я применяю ее ко всему набору данных, выхожу из ошибки.В данных отсутствует пропущенное значение, и dtype одинаков для всех значений.

Как я могу исправить эту ошибку?

Answer 1

Я понимаю, что вы читаете эти данные, например, из CSV-файла.

df=pd.read_csv('c:/1/comptagevelo2012.csv', index_col=0, parse_dates=True)

Для проверки:

print(df.index) 

Работает лучше, чем pd.to_datetime !!Я проверил это!

> DatetimeIndex(['2012-01-01', '2012-02-01', '2012-03-01', '2012-04-01',
>                '2012-05-01', '2012-06-01', '2012-07-01', '2012-08-01',
>                '2012-09-01', '2012-10-01',
>                ...
>                '2012-12-22', '2012-12-23', '2012-12-24', '2012-12-25',
>                '2012-12-26', '2012-12-27', '2012-12-28', '2012-12-29',
>                '2012-12-30', '2012-12-31'],
>               dtype='datetime64[ns]', length=366, freq=None)

Другой метод не работает для этого файла.

df=pd.read_csv('c:/1/comptagevelo2012.csv',index_col=0)
pd.to_datetime(df['Date'],  errors='coerce', format ='%d/%m/%Y')
print(df.index)

Index(['01/01/2012', '02/01/2012', '03/01/2012', '04/01/2012', '05/01/2012',
       '06/01/2012', '07/01/2012', '08/01/2012', '09/01/2012', '10/01/2012',
       ...
       '22/12/2012', '23/12/2012', '24/12/2012', '25/12/2012', '26/12/2012',
       '27/12/2012', '28/12/2012', '29/12/2012', '30/12/2012', '31/12/2012'],
      dtype='object', length=366)

sorce: https://keyrus -gitlab.ml / gfeuillen / keyrus-training / blob / 5f0076e3c61ad64336efc9bc3fd862bfed53125c / docker / data / python / Exercises / 02% 20pandas / compvelo

Answer 2

Существует три проблемы:

1. pd.to_datetime и pd.Series.apply не работают на месте, поэтому ваши решения не изменят вашу серию.Присвойте обратно после преобразования.
2. Вашему третьему решению требуется errors='coerce', чтобы гарантировать отсутствие ошибок.
3. Для компонента времени вам необходимо использовать определенные форматы строк, начинающиеся с %.

Таким образом, вы можете использовать:

df = pd.DataFrame({'date': ['2015-01-01 00:00:00', '2016-12-20 15:00:20',
                            '2017-08-05 00:05:00', '2018-05-11 00:10:00']})

df['date'] = pd.to_datetime(df['date'], errors='coerce', format='%Y-%m-%d %H:%M:%S')

print(df)

                  date
0  2015-01-01 00:00:00
1  2016-12-20 15:00:20
2  2017-08-05 00:05:00
3  2018-05-11 00:10:00

В данном конкретном случае формат является стандартным и может быть опущен:

df['date'] = pd.to_datetime(df['date'], errors='coerce')