Самый эффективный способ фильтрации строк панд на основе построчного сравнения со столбцами из другого кадра данных?

Question

У меня будут проблемы с вербализацией, поэтому я просто включу некоторый код и опишу, что мне нужно сделать потом:

import pandas as pd

start = [1, 5, 102, 300]
end = [3, 90, 150, 304]

df1 = pd.DataFrame({'start':start, 'end':end})

df2 = pd.DataFrame([0, 3, 10, 14, 100, 101, 102, 113, 300])
df2.columns=["bp_pos"]

Итак, для каждой пары начального и конечного янужно проверить, попадают ли какие-либо из моих значений в df2 в этот диапазон.Если они это сделают, мне нужно исключить этот индекс из df2.

У меня это работает.Проблема в том, что у меня 22 df1, и у каждого несколько миллионов строк, а у меня df2 также несколько миллионов строк.Это решение очень медленно работает с моим решением, которое выглядит примерно так:

for idx, row in df1.iterrows():
    df2 = df2.loc[~((row['start'] <= df2['bp_pos']) &
                   (row['end'] >= df2['bp_pos']))]

Я надеюсь получить более быстрое решение, чем у меня выше.Есть ли более быстрые решения, о которых вы можете подумать?Я использую Python 2.7.12, и решения Pandas / NumPy приняты.(Извините, если приведенный выше код на самом деле не работает - у меня нет Python на ПК, с которого я отправляю сообщения)

Answer 1

Я бы получил массив ваших значений, которые вы хотите исключить, а затем использовал бы нормальное pandas индексирование:

vals = np.concatenate([np.arange(x,y) for x,y in zip(start,end)])

df2[~df2['bp_pos'].isin(vals)]

   bp_pos
0       0
1       3
4     100
5     101

Так же, как дальнейшее объяснение: vals в конечном итоге становится массивом всех вашихдиапазоны:

>>> vals
array([  1,   2,   5,   6,   7,   8,   9,  10,  11,  12,  13,  14,  15,
        16,  17,  18,  19,  20,  21,  22,  23,  24,  25,  26,  27,  28,
        29,  30,  31,  32,  33,  34,  35,  36,  37,  38,  39,  40,  41,
        42,  43,  44,  45,  46,  47,  48,  49,  50,  51,  52,  53,  54,
        55,  56,  57,  58,  59,  60,  61,  62,  63,  64,  65,  66,  67,
        68,  69,  70,  71,  72,  73,  74,  75,  76,  77,  78,  79,  80,
        81,  82,  83,  84,  85,  86,  87,  88,  89, 102, 103, 104, 105,
       106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118,
       119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131,
       132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144,
       145, 146, 147, 148, 149, 300, 301, 302, 303])