проверить, если значение в кортеже dataframe

Question

У меня огромный массив данных (38 миллионов строк):

df = pd.DataFrame({'I':[1,2,3,4], 'C':[80,160,240,80],
                   'F':[(1,2,3,4),(5,7,2),(9,6,2,5,7),(4,0,8,3,2)]})

     C                F  I
0   80     (1, 2, 3, 4)  1
1  160        (5, 7, 2)  2
2  240  (9, 6, 2, 5, 7)  3
3   80  (4, 0, 8, 3, 2)  4

Теперь я хотел бы отфильтровать строки, содержащие число 3 в 'F'

.give:

     C                F  I
0   80     (1, 2, 3, 4)  1
3   80  (4, 0, 8, 3, 2)  4

Есть ли способ сделать это с высокой производительностью и низким использованием памяти?

Я пробовал np.equal((3), df['F'].values).all(), но это, очевидно, не работает

Answer 1

Есть ли способ сделать это с высокой производительностью и низким использованием памяти?

Нет, нет. Серия кортежей не векторизована.Он состоит из двойного слоя указателей, который не подходит для Pandas / NumPy.Вы можете использовать такие хаки, как аксессор str или понимание списка.Или, даже, попытаться расширить в фрейм данных:

mask = pd.DataFrame(df['F'].values.tolist()).eq(3).any(1)

print(mask)

0     True
1    False
2    False
3     True
dtype: bool

Но все это дорого.Чтобы повысить производительность, вы должны улучшить структуру данных до того, как серия будет построена.

Answer 2

Вы должны использовать оператор in в сочетании с методом apply, передавая lambda выражение .

df[df['F'].apply(lambda x: 3 in x)]

Выход

   I   C                F
0  1  80     (1, 2, 3, 4)
3  4  80  (4, 0, 8, 3, 2)

Answer 3

Простое применение внутри loc поможет

df.loc[df.F.apply(lambda t : 3 in t)]


    I   C   F
0   1   80  (1, 2, 3, 4)
3   4   80  (4, 0, 8, 3, 2)

Answer 4

Используйте in с list comprehension, если важна производительность:

df = df[[3 in x for x in df['F']]]

Или:

df = df[df['F'].apply(set) >= set([3])]

print (df)
   I   C                F
0  1  80     (1, 2, 3, 4)
3  4  80  (4, 0, 8, 3, 2)

Производительность (зависит от количества совпадающих значений и длиныиз df тоже):

#[40000 rows x 3 columns]
df = pd.concat([df] * 10000, ignore_index=True)


In [166]: %timeit df[[3 in x for x in df['F']]]
5.57 ms ± 132 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [167]: %timeit df[df['F'].apply(lambda x: 3 in x)]
12.2 ms ± 625 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [170]:  %timeit df[df['F'].apply(set) >= set([3])]
29 ms ± 396 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [171]:  %timeit df[pd.DataFrame(df['F'].values.tolist()).eq(3).any(1)]
37.4 ms ± 248 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

Лучшая структура, как у @jpp is create:

from itertools import chain

lens = df['F'].str.len()
df = pd.DataFrame({
    'I' : df['I'].values.repeat(lens),
    'C' : df['C'].values.repeat(lens),
    'F' : list(chain.from_iterable(df['F'].tolist()))
})
print (df)
    I    C  F
0   1   80  1
1   1   80  2
2   1   80  3
3   1   80  4
4   2  160  5
5   2  160  7
6   2  160  2
7   3  240  9
8   3  240  6
9   3  240  2
10  3  240  5
11  3  240  7
12  4   80  4
13  4   80  0
14  4   80  8
15  4   80  3
16  4   80  2