Pandas - Индексирование по MultiIndex, содержащему интервал - PullRequest
Новая
       29

Pandas - Индексирование по MultiIndex, содержащему интервал

3 голосов
/ 23 апреля 2020

У меня есть pandas фрейм данных df1 с MultiIndex, состоящим из user_id значений и start_date, end_date IntervalIndex. Я хотел бы выбрать строки из df1 на основе соответствующих значений во втором фрейме данных df2.

Фреймы данных df1 и df2 выглядят так: 

In [1]: df1
Out [1]:
                                 start_date   end_date status  score
user_id                                                             
A       [2017-03-07, 2017-03-11] 2017-03-07 2017-03-11     S1   1000
        [2017-03-12, 2017-04-03] 2017-03-12 2017-04-03     S2   1000
        [2017-04-04, 2017-05-21] 2017-04-04 2017-05-21     S1   1000
        [2017-05-22, 2222-12-31] 2017-05-22 2222-12-31     S3   1000
B       [2018-12-01, 2018-12-22] 2018-12-01 2018-12-22     S1    900
        [2018-12-23, 2018-12-28] 2018-12-23 2018-12-28     S2    900
        [2018-12-29, 2222-12-31] 2018-12-29 2222-12-31     S1   1500


In [2]: df2
Out [2]:
  user_id   ref_date
0       A 2017-04-24
1       B 2018-12-25

Я заинтересован в выборе user_id s из df1, которые также находятся в интервалах df2 и df1, в которых находятся соответствующие df2.ref_date s. В этом примере я ожидаю получить третью и шестую строки.

Если я использую одну строку df2, я могу найти соответствующую строку в df1, выполнив следующее: 

In [3]: df1.loc[['A']].index.get_level_values(1).get_indexer([pd.to_datetime('2017-04-24')])
Out [3]: array([2])

Есть ли способ использовать массивы для индексирования в одном go?

Вот код для создания фреймов данных: 

users = {'user_id': ['A','A','A','A', 'B','B','B'],
         'start_date': ['2017-03-07', '2017-03-12', '2017-04-04', '2017-05-22', '2018-12-01', '2018-12-23', '2018-12-29'],
         'end_date': ['2017-03-11', '2017-04-03', '2017-05-21', '2222-12-31', '2018-12-22', '2018-12-28', '2222-12-31'],
         'status': ['S1', 'S2', 'S1', 'S3', 'S1', 'S2', 'S1'],
         'score': [1000, 1000, 1000, 1000, 900, 900, 1500]
        }

df1 = pd.DataFrame(users, columns = ['user_id', 'start_date', 'end_date', 'status', 'score'])

for col in ['start_date', 'end_date']:
    df1[col] = pd.to_datetime(df1[col])

df1.set_index(['user_id', pd.IntervalIndex.from_arrays(df1['start_date'], df1['end_date'], closed='both')], drop=True, inplace=True)



df2 = pd.DataFrame({'user_id': ['A', 'B'], 
                   'ref_date': ['2017-04-24', '2018-12-25']})

df2['ref_date'] = pd.to_datetime(df2['ref_date'])

1 Ответ

3 голосов
/ 23 апреля 2020

Одним из решений является объединение двух фреймов данных, а затем выполнение запроса: 

df1.index.names = ['user_id', 'date_ranges']

df_merged = df1.merge(df2, on='user_id', how='left').\
    query('start_date <= ref_date <= end_date')

df_merged.head()

#   user_id start_date  end_date    status  score   ref_date
# 2 A   2017-04-04  2017-05-21  S1  1000    2017-04-24
# 5 B   2018-12-23  2018-12-28  S2  900 2018-12-25

Недостатком является то, что объединенный фрейм данных потеряет мультииндекс. Однако, если вы оставите how='left в merge, целые индексы df_merged можно будет использовать в df1 с iloc: 

df1.iloc[df_merged.index].head()

#     user_id       start_date  end_date    status  score
# A [2017-04-04, 2017-05-21]    2017-04-04  2017-05-21  S1  1000
# B [2018-12-23, 2018-12-28]    2018-12-23  2018-12-28  S2  900
...