Пересечение всех строк одного столбца в pandas

Question

У меня есть фрейм данных, в котором есть столбец, содержащий значения списка в виде строк. Я хочу эффективно найти пересечение всех строк столбца. Прямо сейчас код, который я реализовал, выполняет итерации по фрейму данных. В поисках пути без использования l oop ... Ниже приведен пример df. Я пытаюсь найти пересечение столбца токенов

query                 tokens
ABC                   [A,B,C]
CDE                   [C,D,E]   
FGH                   [A,E,C]

Мой ожидаемый результат - [C]

Мой df имеет более 20k строк

Answer 1

Вы можете сделать это с numpy.intersect1d и functools.reduce.

from functools import reduce
import pandas as pd
import numpy as np

In [48]: df = pd.DataFrame(['abc', 'cde', 'aec'], columns=['tokens_'])          

In [49]: df['tokens'] = df.tokens_.apply(list)                                  

In [50]: df.drop(['tokens_'], inplace=True, axis='columns')                     

In [51]: df                                                                     
Out[51]: 
      tokens
0  [a, b, c]
1  [c, d, e]
2  [a, e, c]

In [52]: reduce(np.intersect1d, df['tokens'])                                   
Out[52]: array(['c'], dtype='<U1')