Объединение трех фреймов данных для всех итераций цвета автомобилей, домашних животных и предметов, купленных в Pandas - groupby? - PullRequest
Новая
       133

Объединение трех фреймов данных для всех итераций цвета автомобилей, домашних животных и предметов, купленных в Pandas - groupby?

0 голосов
/ 06 августа 2020

В настоящее время у меня есть три фрейма данных: покупки, цвета автомобилей и домашние животные. Пример этих данных может быть сформирован с помощью следующего кода: 

import pandas as pd

cols = ['MEMBER', 'CAR_COLOR', 'PET', 'PURCHASE_TYPE', 'ITEM_1', 'ITEM_2', 'ITEM_3', 'ITEM_4']

data1 = [
     [1, "", "", "CC", "BALL", "SHIRT", "VIOLIN", "SWEATER"],
     [1, "", "", "CC", "CANVAS", "COFFEE", "", ""],
     [1, "", "", "CSH", "TOY", "VIDEO_GAME", "GUITAR", ""],
     [2, "", "", "CC", "VEST", "BOOK", "EGGS", "BREAD"],
     [2, "", "", "CHK", "APPLES", "TOOLS", "", ""]
]

colors = [
    [1,"BLUE"],
    [1, "RED"],
    [2, "BLUE"],
    [2, "GREEN"],
    [2, "WHITE"]
]

pets = [
    [1, 'FISH'],
    [2, 'DOG'],
    [2, 'CAT'],
    [2, 'FISH']
]

df_data = pd.DataFrame(data1, columns=cols)
df_colors = pd.DataFrame(colors, columns=['MEMBER', 'CAR_COLOR'])
df_pets = pd.DataFrame(pets, columns = ['MEMBER', 'PET'])

По сути, я хочу объединить эти фреймы данных так, чтобы каждая уникальная итерация (MEMBER, PURCHASE_TYPE, ITEMS1-4) / CAR_COLOR / PET указан как собственная строка. Первоначально фрейм данных о покупке (data1) имел уникальные попарные значения (MEMBER, PURCHASE_TYPE), но они были урезаны таким образом, что если в паре было более четырех элементов, элементы после элемента 4 стали их собственной новой строкой, как показано на примере строк 1 и 2 данных 1. Конечный фрейм данных должен выглядеть так же, как в этом изображении .

В моей реальной ситуации каждый из трех начальных фреймов данных имеет тысячи строк, поэтому в идеале решение было бы надежным / простым для преобразовать в более крупные наборы данных. Пожалуйста, дайте мне знать, если этой информации недостаточно или у вас возникнут уместные вопросы. Я предполагаю, что решение включает в себя своего рода группировку и слияние, но по какой-то причине мой мозг столкнулся с этой проблемой. Любая помощь не приветствуется!

1 Ответ

0 голосов
/ 06 августа 2020

Сделать это можно так: 

cols = ['MEMBER', 'PURCHASE_TYPE', 'ITEM_1', 'ITEM_2', 'ITEM_3', 'ITEM_4']
df_out  = (df_data[cols].set_index('MEMBER').join([di.set_index('MEMBER') for di in [df_colors, df_pets]])
             .sort_values(['MEMBER', 'PET']).reset_index())

Вывод: 

    MEMBER PURCHASE_TYPE  ITEM_1      ITEM_2  ITEM_3   ITEM_4 CAR_COLOR   PET
0        1            CC    BALL       SHIRT  VIOLIN  SWEATER      BLUE  FISH
1        1            CC    BALL       SHIRT  VIOLIN  SWEATER       RED  FISH
2        1            CC  CANVAS      COFFEE                       BLUE  FISH
3        1            CC  CANVAS      COFFEE                        RED  FISH
4        1           CSH     TOY  VIDEO_GAME  GUITAR               BLUE  FISH
5        1           CSH     TOY  VIDEO_GAME  GUITAR                RED  FISH
6        2            CC    VEST        BOOK    EGGS    BREAD      BLUE   CAT
7        2            CC    VEST        BOOK    EGGS    BREAD     GREEN   CAT
8        2            CC    VEST        BOOK    EGGS    BREAD     WHITE   CAT
9        2           CHK  APPLES       TOOLS                       BLUE   CAT
10       2           CHK  APPLES       TOOLS                      GREEN   CAT
11       2           CHK  APPLES       TOOLS                      WHITE   CAT
12       2            CC    VEST        BOOK    EGGS    BREAD      BLUE   DOG
13       2            CC    VEST        BOOK    EGGS    BREAD     GREEN   DOG
14       2            CC    VEST        BOOK    EGGS    BREAD     WHITE   DOG
15       2           CHK  APPLES       TOOLS                       BLUE   DOG
16       2           CHK  APPLES       TOOLS                      GREEN   DOG
17       2           CHK  APPLES       TOOLS                      WHITE   DOG
18       2            CC    VEST        BOOK    EGGS    BREAD      BLUE  FISH
19       2            CC    VEST        BOOK    EGGS    BREAD     GREEN  FISH
20       2            CC    VEST        BOOK    EGGS    BREAD     WHITE  FISH
21       2           CHK  APPLES       TOOLS                       BLUE  FISH
22       2           CHK  APPLES       TOOLS                      GREEN  FISH
23       2           CHK  APPLES       TOOLS                      WHITE  FISH
...