Удалить строки, предшествующие и следующие за строкой, содержащей NaN в Python?

Question

Я пытаюсь очистить экспериментальные данные, используя python с numpy и pandas. Некоторые из моих измерений неправдоподобны. Я хочу удалить эти измерения и 2 предыдущих и 2 последующих измерения из одного и того же образца. Я пытаюсь найти элегантный способ добиться этого без использования цикла for, поскольку мои кадры данных довольно велики.

Мои данные:

>>>df

    Date    Time    Sample  Measurement
index
7737    2019-04-15  06:40:00    A   6.560
7739    2019-04-15  06:50:00    A   1.063
7740    2019-04-15  06:55:00    A   1.136
7741    2019-04-15  07:00:00    A   1.301
7742    2019-04-15  07:05:00    A   1.435
7743    2019-04-15  07:10:00    A   1.704
7744    2019-04-15  07:15:00    A   1.961
7745    2019-04-15  07:20:00    A   2.023
7746    2019-04-15  07:25:00    A   6.284
7747    2019-04-15  07:30:00    A   2.253
7748    2019-04-15  07:35:00    A   6.549
7749    2019-04-15  07:40:00    A   2.591
7750    2019-04-15  07:45:00    A   6.321
7752    2019-04-15  07:55:00    A   0.937
7753    2019-04-15  08:00:00    B   0.372
7754    2019-04-15  08:05:00    B   0.382
7755    2019-04-15  08:10:00    B   0.390
7756    2019-04-15  08:15:00    B   0.455
7757    2019-04-15  08:20:00    B   6.499

import numpy as np
import pandas as pd 

df['Measurement'] = np.where(df['Measurement']>6.0, np.nan, df['Measurement'])

дает

>>>df

    Date    Time    Sample  Measurement
index
7737    2019-04-15  06:40:00    A   NaN
7739    2019-04-15  06:50:00    A   1.063
7740    2019-04-15  06:55:00    A   1.136
7741    2019-04-15  07:00:00    A   1.301
7742    2019-04-15  07:05:00    A   1.435
7743    2019-04-15  07:10:00    A   1.704
7744    2019-04-15  07:15:00    A   1.961
7745    2019-04-15  07:20:00    A   2.023
7746    2019-04-15  07:25:00    A   NaN
7747    2019-04-15  07:30:00    A   2.253
7748    2019-04-15  07:35:00    A   NaN
7749    2019-04-15  07:40:00    A   2.591
7750    2019-04-15  07:45:00    A   NaN
7752    2019-04-15  07:55:00    A   0.937
7753    2019-04-15  08:00:00    B   0.372
7754    2019-04-15  08:05:00    B   0.382
7755    2019-04-15  08:10:00    B   0.390
7756    2019-04-15  08:15:00    B   0.455
7757    2019-04-15  08:20:00    B   NaN

Я удалил строки, используя

df= df[np.isfinite(df['Measurement'])]

Результат, который я пытаюсь получить после удаления двух строк, предшествующих и следующих за строкой, содержащей NaN, в образце (обратите внимание, что значение 7753 должно остаться, поскольку это измерение относится к образцу B).

    Date    Time    Sample  Measurement
index
7741    2019-04-15  07:00:00    A   1.301
7742    2019-04-15  07:05:00    A   1.435
7743    2019-04-15  07:10:00    A   1.704
7753    2019-04-15  08:00:00    B   0.372
7754    2019-04-15  08:05:00    B   0.382

Answer 1

Мы можем пометить все индексы, которые находятся в двух местах до или после NaN, а затем заменить их значения на NaN:

# Get indices of NaN's
idxnull = df[df['Measurement'].isnull()].index

a = [range(x+2) if x==0 else range(x-2, x) if x==idxnull.max() else range(x-2, x+2) for x in idxnull]

for rng in a:
    df.loc[rng, 'Measurement'] = np.NaN

df.dropna(inplace=True)
df = df.iloc[1:]

---

    Index        Date      Time Sample  Measurement
3    7741  2019-04-15  07:00:00      A        1.301
4    7742  2019-04-15  07:05:00      A        1.435
5    7743  2019-04-15  07:10:00      A        1.704
14   7753  2019-04-15  08:00:00      B        0.372
15   7754  2019-04-15  08:05:00      B        0.382

Понимание спискавыглядит довольно сложно, но это следующее:

for x in idxnull:
    if x > 0:
        range(x-2, x+2)
    elif x==idxnull.max():
        range(x-2)
    else:
        range(x+2)

Answer 2

Сначала я отмечаю инвалидов, как и вы, другие места - NaN, затем bfill, ffill:

df['invalid'] = np.where(df.Measurement.gt(6), True, np.nan)
groups = df.groupby('Sample')

df['invalid'] = groups.invalid.ffill(limit=2)
df['invalid'] = groups.invalid.bfill(limit=2)

# drop the invalids:
df = df[df.invalid.isna()]

# drop the invalid column:
df.drop('invalid', axis=1, inplace=True)

Выход:

        Date        Time    Sample  Measurement
Index               
7741    2019-04-15  07:00:00    A   1.301
7742    2019-04-15  07:05:00    A   1.435
7743    2019-04-15  07:10:00    A   1.704
7753    2019-04-15  08:00:00    B   0.372
7754    2019-04-15  08:05:00    B   0.382

Answer 3

df.loc[((df['Measurement']>6) & (df['Sample'] == 'A')),'drop'] = 'Y'

# making sure B readings dont get dropped

l = df.index[df['drop'] == 'Y'].tolist()
l_drop = []
for i in l:
    l_drop.append(i-1)
    l_drop.append(i+1)
    l_drop.append(i+2)

df.drop(df.index[l_drop],inplace=True)

Нет итерации по фрейму данных.

Answer 4

Вы можете попробовать Seies.rolling () , установив center = True и размер окна 5 , например:

m = df.groupby('Sample').Measurement \
      .rolling(5, center=True, min_periods=1) \
      .apply(lambda x: x.isna().any(), raw=False) \
      .reset_index(level=0, drop=True) \
      .eq(0)

print(df[m])
#            Date      Time Sample  Measurement
#7741  2019-04-15  07:00:00      A        1.301
#7742  2019-04-15  07:05:00      A        1.435
#7743  2019-04-15  07:10:00      A        1.704
#7753  2019-04-15  08:00:00      B        0.372
#7754  2019-04-15  08:05:00      B        0.382

Вы можете настроить x.isna().any() на x.gt(6.0).any(), так что нет необходимости устанавливать значение NaN в столбце Измерение.