Выберите строки, которые попадают между диапазонами, определенными в другом DataFrame

Question

Как я могу получить строки кадра данных, которые помещаются между диапазонами другого кадра данных?Например:

import pandas as pd

df1 = pd.DataFrame({
    'date': [
        pd.Timestamp(2019,1,1),
        pd.Timestamp(2019,1,2),
        pd.Timestamp(2019,1,3),
        pd.Timestamp(2019,2,1),
        pd.Timestamp(2019,2,5)
    ]
})

df2 = pd.DataFrame({
    'from_date': [pd.Timestamp(2019,1,1), pd.Timestamp(2019,2,1)],
    'to_date': [pd.Timestamp(2019,1,2), pd.Timestamp(2019,2,1)]
})

Данные:

> df1
    date
0   2019-01-01   <- I want this
1   2019-01-02   <- and this
2   2019-01-03   
3   2019-02-01   <- and this
4   2019-02-05

> df2
    from_date   to_date
0   2019-01-01  2019-01-02
1   2019-02-01  2019-02-01

Диапазоны могут перекрывать друг друга.Я хочу найти все строки в df1, которые попадают между любым диапазонов в df2.Я попытался:

df1[df1['date'].between(df2['from_date'], df2['to_date'])]

Но это привело к ошибке:

ValueError: Can only compare identically-labeled Series objects

Answer 1

Я использую numpy трансляцию

s2_1=df2.from_date.values
s2_2=df2.to_date.values
s1=df1.values[:,None]
df1[np.any((s1>=s2_1)&(s1<=s2_2),-1)]
Out[35]: 
        date
0 2019-01-01
1 2019-01-02
3 2019-02-01

Answer 2

Другим способом, который не рекомендуется для больших фреймов данных, является создание декартового произведения и фильтрация результатов:

import pandas as pd

df1 = pd.DataFrame({
    'date': [
        pd.Timestamp(2019,1,1),
        pd.Timestamp(2019,1,2),
        pd.Timestamp(2019,1,3),
        pd.Timestamp(2019,2,1),
        pd.Timestamp(2019,2,5)
    ]
})

df2 = pd.DataFrame({
    'from_date': [pd.Timestamp(2019,1,1), pd.Timestamp(2019,2,1)],
    'to_date': [pd.Timestamp(2019,1,2), pd.Timestamp(2019,2,1)]
})

df1 = df1.apply(pd.to_datetime)

df2 = df2.apply(pd.to_datetime)

df_out = df1.assign(key=1).merge(df2.assign(key=1))\
            .query('from_date <= date <= to_date')

df_out

Вывод:

        date  key  from_date    to_date
0 2019-01-01    1 2019-01-01 2019-01-02
2 2019-01-02    1 2019-01-01 2019-01-02
7 2019-02-01    1 2019-02-01 2019-02-01

Answer 3

Вот еще один подход:

1) Создайте массив дат с использованием списка, numpy.hstack и pandas.date_range.

2) Простое логическое индексирование для df1 с использованием этого массива дат и Series.isin

# step 1
dates = np.hstack([pd.date_range(s, e) for s, e in zip(df2['from_date'], df2['to_date'])])

# Step 2
df1[df1.date.isin(dates)]

        date
0 2019-01-01
1 2019-01-02
3 2019-02-01