На основании ответа @ YOBEN_S, но отбрасывает только существующие индексы:
df=pd.DataFrame({'A':[1,1,1,1,1,0.5,2,2,2,2,2,2,2]})
df_out=pd.DataFrame({'A':[1,1,1,0.5,2,2,2,2,2]})
min_idx=df.A.idxmin()
s1 = set(range(s-2,s+3))
s2 = set(df.index.tolist())
s1 = s1.intersection(s2)
df=df.drop(set(s1-{min_idx})