Python объединяет месячные и минутные фреймы данных с индексом даты и времени с учетом TZ - PullRequest
Новая
       23

Python объединяет месячные и минутные фреймы данных с индексом даты и времени с учетом TZ

1 голос
/ 16 января 2020

У меня есть два временных ряда ниже. Индексы даты и времени осведомлены о TZ.

df1 : пятиминутный интервал 

    value_1
Timestamp                                   
2009-04-01 10:50:00+09:30   50
2009-04-05 11:55:00+09:30   55
2009-04-23 16:00:00+09:30   0
2009-05-03 10:50:00+09:30   50
2009-05-07 11:55:00+09:30   55
2009-05-11 16:00:00+09:30   0
2009-07-04 02:05:00+09:30   5
2009-07-21 09:10:00+09:30   10
2009-07-30 12:15:00+09:30   15
2010-09-02 11:25:00+09:30   25
2010-09-22 15:30:00+09:30   30
2010-09-30 06:15:00+09:30   15
2010-12-06 11:25:00+09:30   25
2010-12-22 15:30:00+09:30   30
2010-12-28 06:15:00+09:30   15

df2 : месячный интервал, полученный с помощью groupby('Month') из другого набора данных. 

    value_2
Timestamp               
2009-04-30 00:00:00+09:30   23
2009-07-31 00:00:00+09:30   28
2010-12-31 00:00:00+09:30   23

Я хочу объединить два набора данных по индексу. Любая запись в df1 должна быть включена в окончательные результаты, если она имеет тот же месяц, что и df2. Ожидаемый результат ниже. 

    value_1 value_2
Timestamp                                   
2009-04-01 10:50:00+09:30   50  23
2009-04-05 11:55:00+09:30   55  23
2009-04-23 16:00:00+09:30   0   23
2009-07-04 02:05:00+09:30   5   28
2009-07-21 09:10:00+09:30   10  28
2009-07-30 12:15:00+09:30   15  28
2010-12-06 11:25:00+09:30   25  23
2010-12-22 15:30:00+09:30   30  23
2010-12-28 06:15:00+09:30   15  23

Это моя попытка. 

result = pd.concat([df1, df2], axis=1) 
# this combines the datasets, but not like expected, also by including join="outer". With join="inner", no data shown.

result = pd.merge(df1, df2, left_on='value_1', right_index=True)
# this return ValueError: You are trying to merge on Int64 and datetime64[ns, Australia/North] columns. If you wish to proceed you should use pd.concat

# Using @Ben.T
mt_hMF = df1.merge( df2.reset_index().set_index(df2.index.floor('M')),
                         how='left', left_index=True, right_index=True).set_index('Timestamp')
# This gives ValueError: <MonthEnd> is a non-fixed frequency

1 Ответ

2 голосов
/ 16 января 2020

Попробуйте, используя strftime, чтобы создать временный ключ слияния для обоих фреймов данных: 

df1.reset_index()\
   .assign(yearmonth=df1.index.strftime('%Y%m'))\
   .merge(df2.assign(yearmonth=df2.index.strftime('%Y%m')))\
   .set_index('Timestamp')\
   .drop('yearmonth', axis=1)

Вывод: 

    value_1  value_2
Timestamp                                  
2009-04-01 10:50:00+09:30       50       23
2009-04-05 11:55:00+09:30       55       23
2009-04-23 16:00:00+09:30        0       23
2009-07-04 02:05:00+09:30        5       28
2009-07-21 09:10:00+09:30       10       28
2009-07-30 12:15:00+09:30       15       28
2010-12-06 11:25:00+09:30       25       23
2010-12-22 15:30:00+09:30       30       23
2010-12-28 06:15:00+09:30       15       23
...