Панды: в прошлый раз, когда столбец имел значение, отличное от нан

Question

Давайте предположим, что у меня есть следующий фрейм данных:

df = pd.DataFrame({"id": [1, 1, 1, 2, 2], "nominal": [1, np.nan, 1, 1, np.nan], "numeric1": [3, np.nan, np.nan, 7, np.nan], "numeric2": [2, 3, np.nan, 2, np.nan], "numeric3": [np.nan, 2, np.nan, np.nan, 3], "date":[pd.Timestamp(2005, 6, 22), pd.Timestamp(2006, 2, 11), pd.Timestamp(2008, 9, 13), pd.Timestamp(2009, 5, 12), pd.Timestamp(2010, 5, 9)]})

В качестве вывода я хочу получить фрейм данных, который будет указывать количество дней, прошедших с тех пор, как не былозначение было видно для этого столбца, для этого id.Если столбец имеет значение для соответствующей даты или если столбец не имеет значения в начале для нового id, значение должно быть равно 0. Кроме того, предполагается, что оно рассчитывается только длячисловые столбцы.С учетом сказанного выходной фрейм данных должен быть:

output_df = pd.DataFrame({"numeric1_delta": [0, 234, 1179, 0, 362], "numeric2_delta": [0, 0, 945, 0, 362], "numeric3_delta": [0, 0, 945, 0, 0]})

Ждем ваших ответов!

Answer 1

Вы можете сгруппировать по сумме ненулевое значение и затем вычесть первую дату:

In [11]: df.numeric1.notnull().cumsum()
Out[11]:
0    1
1    1
2    1
3    2
4    2
Name: numeric1, dtype: int64

In [12]: df.groupby(df.numeric1.notnull().cumsum()).date.transform(lambda x: x.iloc[0])
Out[12]:
0   2005-06-22
1   2005-06-22
2   2005-06-22
3   2009-05-12
4   2009-05-12
Name: date, dtype: datetime64[ns]

In [13]: df.date - df.groupby(df.numeric1.notnull().cumsum()).date.transform(lambda x: x.iloc[0])
Out[13]:
0      0 days
1    234 days
2   1179 days
3      0 days
4    362 days
Name: date, dtype: timedelta64[ns]

---

Для нескольких столбцов:

ncols = [col for col in df.columns if col.startswith("numeric")]

for c in ncols:
    df[c + "_delta"] = df.date - df.groupby(df[c].notnull().cumsum()).date.transform('first')