Pandas merge_asof: несовместимые ключи слияния [datetime64 [ns, US / Eastern] и dtype (' - PullRequest
Новая
       8

Pandas merge_asof: несовместимые ключи слияния [datetime64 [ns, US / Eastern] и dtype ('

0 голосов
/ 22 апреля 2020

У меня есть два фрейма данных, созданные кем-то, что мне нужно merge_asof на datetime и id. Левый фрейм данных был создан так: 

import pandas as pd
import pytz
from datetime import datetime
from datetime import timezone

dates = [datetime(2020, 1, 2, 8, 0, 0, 824000),
         datetime(2020, 1, 8, 6, 2, 52, 833000),
         datetime(2020, 1, 9, 22, 41, 18, 858000),
         datetime(2020, 1, 16, 8, 0, 1, 404000),
         datetime(2020, 1, 22, 8, 0, 1, 560000),
         datetime(2020, 1, 23, 8, 0, 1, 493000)
        ]
timezone = pytz.timezone('US/Eastern')
dates_localized = [timezone.localize(d) for d in dates ]
ids = [1,1,1,2,2,2]
headlines = ['abc','def','jkl', 'mno','pqr', 'stx']
left = pd.DataFrame({'date':dates_localized, 'id':ids, 'headlines':headlines})
print(left)

                              date  id headlines
0 2020-01-02 08:00:00.824000-05:00   1       abc
1 2020-01-08 06:02:52.833000-05:00   1       def
2 2020-01-09 22:41:18.858000-05:00   1       jkl
3 2020-01-16 08:00:01.404000-05:00   2       mno
4 2020-01-22 08:00:01.560000-05:00   2       pqr
5 2020-01-23 08:00:01.493000-05:00   2       stx

Правый фрейм данных был создан примерно так: 

index = pd.DatetimeIndex(['2020-01-02 07:30:00.070041845',
               '2020-01-08 05:30:00.167110660',
               '2020-01-09 09:30:00.185073458',
               '2020-01-16 09:30:00.190448059',
               '2020-01-22 07:30:00.286648287',
               '2020-01-22 06:30:00.376308078'])

right = pd.DataFrame({'id':[1,1,1,2,2,2], 'value':[1,0,0,1,1,0]})
right = right.set_index(index)
right.index.name = 'date'
print(right)

                               id  value
date                                    
2020-01-02 07:30:00.070041845   1      1
2020-01-08 05:30:00.167110660   1      0
2020-01-09 09:30:00.185073458   1      0
2020-01-16 09:30:00.190448059   2      1
2020-01-22 07:30:00.286648287   2      1
2020-01-22 06:30:00.376308078   2      0

Слияние: 

df = pd.merge_asof(left, right, on='date', by='id')

приводит к ошибке: 

MergeError: incompatible merge keys [1] datetime64[ns, US/Eastern] and dtype('<M8[ns]'), must be the same type

Есть идеи, как преобразовать время в один тип, который можно было бы сделать merge_asof?

1 Ответ

1 голос
/ 22 апреля 2020

Одной из идей является использование DataFrame.tz_localize для установки часовых поясов на Datetimeindex: 

df = pd.merge_asof(left, right.tz_localize('US/Eastern').sort_index(), on='date', by='id')
print (df)
                              date  id headlines  value
0 2020-01-02 08:00:00.824000-05:00   1       abc    1.0
1 2020-01-08 06:02:52.833000-05:00   1       def    0.0
2 2020-01-09 22:41:18.858000-05:00   1       jkl    0.0
3 2020-01-16 08:00:01.404000-05:00   2       mno    NaN
4 2020-01-22 08:00:01.560000-05:00   2       pqr    1.0
5 2020-01-23 08:00:01.493000-05:00   2       stx    1.0

РЕДАКТИРОВАНИЕ: При необходимости установите часовой пояс на date столбец: 

left['date'] = left['date'].dt.tz_localize('US/Eastern')
df = pd.merge_asof(left, right.sort_index(), on='date', by='id')
...