Замените значение значением ближайшего соседа в кадре данных Pandas.

Question

У меня проблема с получением ближайших значений для некоторых строк в кадре данных pandas и заполнением другого столбца значениями из этих строк.

образец данных, который у меня есть:

id   su_id  r_value  match_v

A      A1      0        1
A      A2      0        1
A      A3      70       2
A      A4      120      100
A      A5      250      3
A      A6      250      100
B      B1      0        1
B      B2      30       2

Дело в том,где match_v равно 100, мне нужно заменить 100 значением из строки, где r_value является ближайшим к r_value из исходной строки (где match_v равно 100), но только в группе (сгруппированной по id)

Ожидаемый результат

id   su_id  r_value  match_v

A      A1      0        1
A      A2      0        1
A      A3      70       2
A      A4      120      2
A      A5      250      3
A      A6      250      3
B      B1      0        1
B      B2      30       2

Я пытался создать отведение и ногу со смещением, а затем найти различия.Но не работает хорошо, и это как-то испортило уже хорошие ценности.Я не пробовал ничего другого, потому что у меня действительно нет никаких идей.

Любая помощь или подсказка приветствуется, и я, если вам нужна дополнительная информация, я здесь.

Спасибозаблаговременно.

Answer 1

Больше похоже на merge_asof

s=df.loc[df.match_v!=100]
s=pd.merge_asof(df.sort_values('r_value'),s.sort_values('r_value'),on='r_value',by='id',direction='nearest')
df['match_v']=df['su_id'].map(s.set_index('su_id_x')['match_v_y'])
df
Out[231]: 
  id su_id  r_value  match_v
0  A    A1        0        1
1  A    A2        0        1
2  A    A3       70        2
3  A    A4      120        2
4  A    A5      250        3
5  A    A6      250        3
6  B    B1        0        1
7  B    B2       30        2

---

Вот еще один способ использования numpy трансляции, сборка для ускорения расчета

l=[]
for x , y in df.groupby('id'): 
    s1=y.r_value.values
    s=abs((s1-s1[:,None])).astype(float)
    s[np.tril_indices(s.shape[0], 0)] = 999999
    s=s.argmin(0)
    s2=y.match_v.values
    l.append(s2[s][s2==100])
df.loc[df.match_v==100,'match_v']=np.concatenate(l)
df
Out[264]: 
  id su_id  r_value  match_v
0  A    A1        0        1
1  A    A2        0        1
2  A    A3       70        2
3  A    A4      120        2
4  A    A5      250        3
5  A    A6      250        3
6  B    B1        0        1
7  B    B2       30        2

Answer 2

Вы можете определить пользовательскую функцию, которая выполняет вычисление и замену, а затем использовать ее с groupby и применять.

def mysubstitution(x):
    for i in x.index[x['match_v'] == 100]:
        diff = (x['r_value'] - (x['r_value'].iloc[i])).abs()
        exclude = x.index.isin([i])
        closer_idx = diff[~exclude].idxmin()
        x['match_v'].iloc[i] = x['match_v'].iloc[closer_idx]
    return x

ddf = df.groupby('id').apply(mysubstitution)

ddf - это:

  id su_id  r_value  match_v
0  A    A1        0        1
1  A    A2        0        1
2  A    A3       70        2
3  A    A4      120        2
4  A    A5      250        3
5  A    A6      250        3
6  B    B1        0        1
7  B    B2       30        2

Answer 3

Предполагается, что всегда есть хотя бы одно допустимое значение в группе при первом обнаружении 100.

m = dict()
for i in range(len(df)):
    if df.loc[i, "match_v"] == 100:
        df.loc[i, "match_v"] = m[df.loc[i, "id"]]
    else:
        m[df.loc[i, "id"]] = df.loc[i, "match_v"]