Как получить дату из столбцов без даты, используя регулярное выражение или индекс?

Question

У меня есть датафрейм и диктовка, как показано ниже

df = pd.DataFrame({
    'subject_id':[1,2,3,4,5],
    'age':[42,56,75,48,39],
    'date_visit':['1/1/2020','3/3/2200','13/11/2100','24/05/2198','30/03/2071'],
    'a11fever':['Yes','No','Yes','Yes','No'],
    'a12diagage':[36,np.nan,np.nan,40,np.nan],
    'a12diagyr':[np.nan,np.nan,2091,np.nan,np.nan],
    'a12diagyrago':[6,np.nan,9,np.nan,np.nan],
    'a20cough':['Yes','No','No','Yes','No'],
    'a21cough':[np.nan,'Yes',np.nan,np.nan,np.nan],
    'a22agetold':[37,np.nan,np.nan,46,np.nan],
    'a22yrsago':[np.nan,6,np.nan,2,np.nan],
    'a22yrtold':[np.nan,2194,np.nan,np.nan,np.nan]

 })
df['date_visit'] = pd.to_datetime(df['date_visit'])
disease_dict = {'a11fever' : 'fever', 'a20cough' : 'cough','a21cough':'cough'}

Этот фрейм данных содержит информацию о состоянии здоровья пациента и дате диагноза

Но, как вы можете видеть, дата диагнозов не доступна напрямую , и мы должны получить ее на основе столбцов, содержащих ключевые слова, такие как age, yr, ago, diag, которые появляются в следующих 5-6 столбцах из условиястолбец (например: a11fever). Найдите следующие 5 столбцов после этого столбца условия, и вы сможете получить информацию, необходимую для получения даты. Аналогично для других условий, таких как cough

Я ожидаю, что мой вывод будет таким, как показано ниже

Я пытался что-то вроде ниже, но это не помогло

df = df[(df['a11fever'] =='Yes') | (df['a20cough'] =='Yes') | (df['a21cough'] =='Yes')]  
# we filter by `Yes` above because we only nned to get dates for people who had medical condition (`fever`,`cough`)
df.fillna(0,inplace=True)
df['diag_date'] =  df["date_visit"] - pd.DateOffset(years=df.filter('age'|'yr'|'ago'))  # doesn't help throws error. need to use regex here to select non-na values any of other columns
pd.wide_to_long(df, stubnames=['condition', 'diag_date'], i='subject_id', j='grp').sort_index(level=0)
df.melt('subject_id', value_name='valuestring').sort_values('subject_id')

Обратите внимание, что я знаю имена столбцовболезни перед рукой (см. дикт). Чего я не знаю, так это фактического имени столбца, откуда я могу получить необходимую информацию для получения даты. Но я знаю, что он содержит ключевые слова, такие как age, ago, yr, diag

diag_date получается путем вычитания derived date из столбца date_vist.

Скриншот правила

Например: subject_id = 1 посетил больницу в 1/1/2020 по поводу лихорадки, и ему был поставлен диагнозв возрасте 36 (a12diagage) или 6 лет назад (a12diagyrago). мы знаем его текущий возраст и date_visit, поэтому мы можем выбрать вычитание из любого столбца, который дает нам 1/1/2014

Как видите, я не могу выяснить, как выбрать столбец на основерегулярное выражение и вычесть его

Answer 1

Использование:

#get of columns with Yes at least one value
mask = df[list(disease_dict.keys())].eq('Yes')
#assign mask back
df[list(disease_dict.keys())] = mask
#rename columns names by dict
df = df.rename(columns=disease_dict).max(axis=1, level=0)
#filter out False rows
df = df[mask.any(axis=1)]
#convert some columns to index for get only years and condition columns
df = df.set_index(['subject_id','age','date_visit'])

#extract columns names - removing aDD values
s = df.columns.to_series()
df.columns = s.str.extract('(yrago|yrsago)', expand=False).fillna(s.str.extract('(age|yr)', expand=False)).fillna(s)

#replace True in condition columns to column names
ill = set(disease_dict.values())
df.loc[:, ill] = np.where(df[ill].values, np.array(list(ill)), None)

#replace columns names to condition
df = df.rename(columns = dict.fromkeys(ill, 'condition'))

---

#create MultiIndex - only necessary condition columns are first per groups
cols = np.cumsum(df.columns == 'condition')
df.columns = [df.columns, cols]
#reshape by stack and convert MultiIndex to columns
df = df.stack().rename(columns={'age':'age_ill'}).reset_index().drop('level_3', axis=1)
#subtract ages
df['age_ill'] = df['age'].sub(df['age_ill'])
#priority yrago so yrago is filling missing values by age_ill
df['yrago'] = df['yrago'].fillna(df['yrsago']).fillna(df['age_ill']).fillna(0).astype(int)
df = df.drop(['yrsago','age_ill'], axis=1)

#subtract years
df['diag_date1'] =  df.apply(lambda x: x["date_visit"] - pd.DateOffset(years=x['yrago']), axis=1)
#replace years
mask1 = df['yr'].notna()
df.loc[mask1, 'diag_date'] = df[mask1].apply(lambda x: x["date_visit"].replace(year=int(x['yr'])), axis=1)
#because priority yr then fillna diag_date by diag_date1
df['diag_date'] = df['diag_date'].fillna(df['diag_date1'])

df = df.drop(['diag_date1','age','date_visit','yr','yrago'], axis=1)

---

print (df)
   subject_id condition  diag_date
0           1     fever 2014-01-01
1           1     cough 2015-01-01
2           2     cough 2194-03-03
3           3     fever 2091-11-13
4           4     fever 2190-05-24
5           4     cough 2196-05-24