pandas: как объединить два столбца списка при объединении фреймов данных - PullRequest
Новая
       31

pandas: как объединить два столбца списка при объединении фреймов данных

3 голосов
/ 07 марта 2020

У меня есть два следующих фрейма данных: 

    id  websites
    --   ---
0   1   [cnn.com, bbc.com]
1   2   [ebay.com, facebook.com]

________________

    id  websites
    --   ---
0   2   [google.com, facebook.com]
1   3   [amazon.com, youtube.com]

Я хочу внешнее соединение их в столбце id путем агрегирования уникальных websites для соответствующих строк. Вывод должен быть таким, как показано ниже: 

    id  websites    
    --   ---
0   1   [cnn.com, bbc.com]  
1   2   [ebay.com, facebook.com, google.com]
2   3   [amazon.com, youtube.com]

До сих пор я пробовал следующее: 

import pandas as pd

df_a = pd.DataFrame({'id':[1,2],'websites':[['cnn.com','bbc.com'],['ebay.com','facebook.com']]})
df_b = pd.DataFrame({'id':[2,3],'websites':[['google.com','facebook.com'],['amazon.com','youtube.com']]})
df_a.merge(df_b, on='id', how='outer')

, что дает мне следующий вывод: 

    id  websites_x                 websites_y
    --   ---                        ---
0   1   [cnn.com, bbc.com]         NaN
1   2   [ebay.com, facebook.com]   [google.com, facebook.com]
2   3   NaN                        [amazon.com, youtube.com]

1 Ответ

3 голосов
/ 07 марта 2020

Вы можете объединить их, а затем сгруппировать в столбец id: 

df_a = pd.DataFrame({'id':[1,2],'websites':[['cnn.com','bbc.com'],
                    ['ebay.com','facebook.com']]})
df_b = pd.DataFrame({'id':[2,3],'websites':[['google.com','facebook.com'],
                    ['amazon.com','youtube.com']]})

Решение:

Метод1: 

a = df_a.explode('websites') #requires pandas version 0.25+
b = df_b.explode('websites') #requires pandas version 0.25+
out = pd.concat((a,b)).groupby('id')['websites'].apply(pd.unique).reset_index()
#or out = pd.concat((a,b)).groupby('id')['websites'].agg(set).reset_index()
print(out)

Метод 2:

Другое решение, использующее itertools.chain.from_iterable, для которого не нужны разнесенные кадры данных: 

from itertools import chain
out = (pd.concat((df_a,df_b)).groupby('id')['websites']
     .apply(lambda x : dict.fromkeys(chain.from_iterable(x)).keys()).reset_index())
print (out)

   id                              websites
0   1                    [cnn.com, bbc.com]
1   2  [ebay.com, facebook.com, google.com]
2   3             [amazon.com, youtube.com]
...