Pandas Сравнение больших данных - PullRequest
Новая
       4

Pandas Сравнение больших данных

1 голос
/ 17 апреля 2020

Я сравниваю запись из 2 больших Dataframe, состоящих из 3 столбцов (X, Y, Z), и создаю Result DataFrame, записывающий парные данные, где X и Y близки друг к другу (<0,05). К сожалению, это работает для небольшого количества данных. У меня около 33 000-35 000 строк, что делает l oop буквально бесконечным. Есть ли другой способ сделать l oop быстрее? </p> 

import pandas as pd
import numpy as np

n=35000
DF1=pd.DataFrame({'X1': np.random.randn(n),'Y1': np.random.randn(n),'Z1': np.random.randn(n)})
DF2=pd.DataFrame({'X2': np.random.randn(n),'Y2': np.random.randn(n),'Z2': np.random.randn(n)})

Result=pd.DataFrame(columns=['X1','Y1','Z1','X2','Y2','Z2'])

i=0
for j in DF1.index:
    for k in DF2.index:
        if abs(DF1.X1[j]-DF2.X2[k])<0.05:
            if abs(DF1.Y1[j]-DF2.Y2[k])<0.05:
                Result.loc[i]=[DF1.X1[j]]+[DF1.Y1[j]]+[DF1.Z1[j]]+[DF2.X2[k]]+[DF2.Y2[k]]+[DF2.Z2[k]]
                i+=1

1 Ответ

0 голосов
/ 18 апреля 2020

Мне удается решить эту проблему, разделив DataFrame на 100 меньших порций на основе значения диапазона X, и сравнивать данные только внутри каждой порции. Я не хочу терять данные между порциями, поэтому я даю 5% -ное перекрытие между интервалами и сверху, и я буду иметь дело с дублированием позже.

Это все еще очень медленно, но по крайней мере я получил результат, любая более быстрая альтернатива приветствуется 

import pandas as pd
import numpy as np

def Compare(DF1,DF2):
    Output=pd.DataFrame(columns=['X1','Y1','Z1','X2','Y2','Z2'])
    i=0
    for j in DF1.index:
        for k in DF2.index:
            if abs(DF1.X1[j]-DF2.X2[k])<0.05:
                if abs(DF1.Y1[j]-DF2.Y2[k])<0.05:
                    Output.loc[i]=[DF1.X1[j]]+[DF1.Y1[j]]+[DF1.Z1[j]]+[DF2.X2[k]]+[DF2.Y2[k]]+[DF2.Z2[k]]
                   i+=1
    return(Output)

n=35000
DF1=pd.DataFrame({'X1': np.random.randn(n),'Y1': np.random.randn(n),'Z1': 
np.random.randn(n)})
DF2=pd.DataFrame({'X2': np.random.randn(n),'Y2': np.random.randn(n),'Z2': 
np.random.randn(n)})

m=int(n/100)
start=DF1.X1.min()
stop=DF1.X1.max()*1.05
step=(DF1.X1.max()-DF1.X1.min())/m
arange=np.arange(start,stop,step)

Comparison=pd.DataFrame(columns=['X1','Y1','Z1','X2','Y2','Z2'])

for i in range(0,m-1):
    Input1=DF1[(DF1.X1>arange[i]) & (DF1.X1<(arange[i+1]-step/20))]
    Input2=DF2[(DF2.X2>arange[i]) & (DF2.X2<(arange[i+1]-step/20))]
    Comparison=Comparison.append(Compare(Input1,Input2))
...