Нахождение одного-многих совпадений в двух Пандах. - PullRequest
Новая
       6

Нахождение одного-многих совпадений в двух Пандах.

0 голосов
/ 05 июня 2018

Я пытаюсь собрать общий процесс сопоставления финансовых данных.Цель состоит в том, чтобы взять один набор данных с большими транзакциями и сопоставить его с набором данных с меньшими транзакциями.Одни один ко многим, другие один к одному.Есть несколько раз, когда это может быть обращено вспять, и часть подхода состоит в том, чтобы передать обратные совпадения в обратном порядке, чтобы захватить эти возможные совпадения.

У меня есть три различных модуля, которые я создал, чтобы перебирать друг другачтобы завершить работу, но я не получаю последовательных результатов.Я вижу возможные совпадения в моих данных, которые должны быть получены, но их нет.

Также нет четких критериев соответствия, поэтому предполагается, что если я размещу наборы данных в порядке дат и ищу соответствующие значения, яхочу принять первый матч, так как он должен быть ближе к тому же таймфрейму.

Я использую Pandas и Itertools, но, возможно, не в идеальном формате.Мы будем благодарны за любую помощь в получении согласованных совпадений. 

Data examples:

Large Transaction Size:

AID    AIssue Date    AAmount
1508     3/14/2018   -560
1506     3/27/2018    -35
1500     4/25/2018   5000

Small Transaction Size:
BID     BIssue Date   BAmount
1063     3/6/2018     -300
1062     3/6/2018     -260
839      3/22/2018     -35
423      4/24/2018    5000

Expected Results
AID     AIssue Date   AAMount    BID     BIssue Date   BAmount
1508     3/14/2018     -560      1063      3/6/2018     -300
1508     3/14/2018     -560      1062      3/6/2018     -260
1506     3/27/2018      -35       839      3/22/2018     -35
1500     4/25/2018     5000       423      4/24/2018    5000

but I usually get
AID     AIssue Date   AAMount    BID     BIssue Date   BAmount
1508     3/14/2018     -560      1063      3/6/2018     -300
1508     3/14/2018     -560      1062      3/6/2018     -260
1506     3/27/2018      -35       839      3/22/2018     -35

с 5000 не совпадает.И это только один пример, но положительный отрицательный, по-видимому, не является фактором при взгляде на больший набор данных.

При просмотре несопоставленных результатов по каждому из них я вижу по крайней мере одну транзакцию в 5000 долларов, на которую я рассчитывал1-1 матч, и это не в результатах. 

def matches(iterable):
    s = list(iterable)
    #Only going to 5 matches to avoid memory overrun on large datasets
    s = list(itertools.chain.from_iterable(itertools.combinations(s, r) for r in range(5))) 

    return [list(elem) for elem in s]

def one_to_many(dfL, dfS, dID = 0, dDT = 1, dVal = 2):   
    #dfL = dataset with larger values
    #dfS = dataset with smaller values
    #dID = column index of ID record
    #dDT = column index of date record
    #dVal = column index of dollar value record

    S = dfS[dfS.columns[dID]].values.tolist()
    S_amount = dfS[dfS.columns[dVal]].values.tolist()

    S = matches(S)
    S_amount = matches(S_amount)

    #get ID of first large record, the ID to be matched in this module
    L = dfL[dfL.columns[dID]].iloc[0]

    #get Value of first large record, this value will be matching criteria
    L_amount = dfL[dfL.columns[dVal]].iloc[0]

    count_of_sets = len(S)

    for a in range(0,count_of_sets):

        list_of_items = S[a]
        list_of_values = S_amount[a]

        if round(sum(list_of_values),2) == round(L_amount,2):
            break

    if round(sum(list_of_values),2) == round(L_amount,2):
        retVal = list_of_items
    else:
        retVal = [-1]

    return retVal

def iterate_one_to_many(dfLarge, dfSmall, dID = 0, dDT = 1, dVal = 2):
    #dfL = dataset with larger values
    #dfS = dataset with smaller values
    #dID = column index of ID record
    #dDT = column index of date record
    #dVal = column index of dollar value record

    #returns a list of dataframes [paired matches, unmatched from dfL, unmatched from dfS]

    dfLarge = dfLarge.set_index(dfLarge.columns[dID]).sort_values([dfLarge.columns[dDT], dfLarge.columns[dVal]]).reset_index()
    dfSmall = dfSmall.set_index(dfSmall.columns[dID]).sort_values([dfSmall.columns[dDT], dfSmall.columns[dVal]]).reset_index()

    end_row = len(dfLarge.columns[dID]) - 1

    matches_master = pd.DataFrame(data = None, columns = dfLarge.columns.append(dfSmall.columns))

    for lg in range(0,end_row):

        sm_match_id = one_to_many(dfLarge, dfSmall)
        lg_match_id = dfLarge[dfLarge.columns[dID]][lg]

        if sm_match_id != [-1]:

            end_of_matches = len(sm_match_id)

            for sm in range(0, end_of_matches):
                if sm == 0:
                    sm_match = dfSmall.loc[dfSmall[dfSmall.columns[dID]] == sm_match_id[sm]].copy()
                    dfSmall = dfSmall.loc[dfSmall[dfSmall.columns[dID]] != sm_match_id[sm]].copy()
                else:
                    sm_match = sm_match.append(dfSmall.loc[dfSmall[dfSmall.columns[dID]] == sm_match_id[sm]].copy())
                    dfSmall = dfSmall.loc[dfSmall[dfSmall.columns[dID]] != sm_match_id[sm]].copy()

            lg_match = dfLarge.loc[dfLarge[dfLarge.columns[dID]] == lg_match_id].copy()

            sm_match['Match'] = lg
            lg_match['Match'] = lg

            sm_match.set_index('Match', inplace=True)
            lg_match.set_index('Match', inplace=True)

            matches = lg_match.join(sm_match, how='left')
            matches_master = matches_master.append(matches)

            dfLarge = dfLarge.loc[dfLarge[dfLarge.columns[dID]] != lg_match_id].copy()

    return [matches_master, dfLarge, dfSmall]

Ответы [ 2 ]

0 голосов
/ 06 июня 2018

в моем модуле iterate_one_to_many я неправильно рассчитывал длину строки.Мне нужно было заменить 

end_row = len(dfLarge.columns[dID]) - 1

на 

end_row = len(dfLarge.index)
0 голосов
/ 05 июня 2018

IIUUC, совпадение состоит только в том, чтобы найти транзакцию в Большой DataFrame, которая является ближайшей или ближайшей будущей транзакцией к транзакции в Маленькой.Вы можете использовать pandas.merge_asof() для сопоставления на основе ближайшей даты в будущем.

import pandas as pd
# Ensure your dates are datetime
df_large['AIssue Date'] = pd.to_datetime(df_large['AIssue Date'])
df_small['BIssue Date'] = pd.to_datetime(df_small['BIssue Date'])

merged = pd.merge_asof(df_small, df_large, left_on='BIssue Date', 
                       right_on='AIssue Date', direction='forward')

merged теперь: 

    BID  BAmount BIssue Date   AID  AAmount AIssue Date
0  1063     -300  2018-03-06  1508     -560  2018-03-14
1  1062     -260  2018-03-06  1508     -560  2018-03-14
2   839      -35  2018-03-22  1506      -35  2018-03-27
3   423     5000  2018-04-24  1500     5000  2018-04-25

Если вы ожидаете, что вещи никогда не совпадут, вы также можете добавить tolerance, чтобы ограничить совпадения в пределах меньшего окна., таким образом пропущенное значение в одном DataFrame не отбрасывает все.

...