Столбец производной даты, основанный на различных типах значений - PullRequest
Новая
       6

Столбец производной даты, основанный на различных типах значений

1 голос
/ 03 февраля 2020

У меня есть кадр данных, как показано ниже 

df = pd.DataFrame({'subject_id' :[1,2,3,4,5],
                        'date_of_interview':['2007-05-27','2008-03-13','2010-11-19','2011-10-05','2004-11-02'],
                        'Age':[31,35,78,72,43],
                        'value':[6,0.33,1990,np.nan,2001],
                        'age_detected':[25,35,98,65,40]})
df['date_of_interview'] = pd.to_datetime(df['date_of_interview'])

Я хотел бы создать новый столбец с именем dis_date на основе value и age_detected столбец

Пример: subject_id = 1 имеет date_of_interview как 2007-05-27. Если мы посмотрим на его столбец значений, мы увидим, что он имеет значение 6, что означает, что мы должны вычесть 6 лет из date_of_interview, чтобы получить 2001-05-27 как dis_date

Принимая во внимание, что если вы посмотрите на subject_id = 3 он имеет значение года в столбце значений, поэтому его dis_date будет 1990-11-19

Когда в столбце значений NA, мы должны посмотреть на его столбец age_detected и вычесть его из Age чтобы получить количество лет.

Например: subject_id = 4 имеет Age как 72 и AGE_DETECTED как 65. Теперь разница равна 7, а его dis_date будет 2004-10-05

Обратите внимание на значения в столбце значений, если менее 6 цифр соответствуют числу лет. Если это 1, значит вычесть 1 год. Если это 0,33, то вычесть 4 месяца. 1 год = 12 месяцев. 0,33 = 3,96 месяца (4 месяца)

Я пробовал что-то подобное, но это не помогло 

for i in range(len(df['value'])):

    if (len(str(df['value'][i]))) < 6:
        df['dis_date'] = df['date_of_interview'] - pd.DateOffset(years=df['value'][i])

Я ожидаю, что мой результат будет таким, как показано ниже

enter image description here

1 Ответ

1 голос
/ 03 февраля 2020

В этом решении создаются вспомогательные столбцы для проверки замененных лет или вычтенных месяцев: 

#if value less like 1 multiple by 12, another values set to NaNs
df['m1'] = np.where(df['value'].lt(1), df['value'].mul(12).round(), np.nan)
#if values more like 1000 it is year
df['y1'] = df['value'].where(df['value'].gt(1000))

#if values between 1, 1000 is necessary subtract years from value column
y1 = df['Age'].sub(df['age_detected'])
df['y2'] = np.where(y1.between(1, 1000), df['date_of_interview'].dt.year.sub(y1), np.nan)
#joined years to one column
df['y'] = df['y1'].fillna(df['y2'])

#replaced years by another column
f1 = lambda x: x['date_of_interview'] - pd.DateOffset(year=(int(x['y'])))
df['dis_date1'] = df.dropna(subset=['date_of_interview','y']).apply(f1, axis=1)
#subtracted months if non missing values
f1 = lambda x: x['date_of_interview'] - pd.DateOffset(months=(int(x['m1'])))
df['dis_date2'] = df.dropna(subset=['m1']).apply(f1, axis=1)

#join together
df['dis_date'] = df['dis_date1'].fillna(df['dis_date2'])
print (df)
   subject_id date_of_interview  Age    value  age_detected   m1      y1  \
0           1        2007-05-27   31     6.00            25  NaN     NaN   
1           2        2008-03-13   35     0.33            35  4.0     NaN   
2           3        2010-11-19   78  1990.00            98  NaN  1990.0   
3           4        2011-10-05   72      NaN            65  NaN     NaN   
4           5        2004-11-02   43  2001.00            40  NaN  2001.0   

       y2       y  dis_date1  dis_date2   dis_date  
0  2001.0  2001.0 2001-05-27        NaT 2001-05-27  
1     NaN     NaN        NaT 2007-11-13 2007-11-13  
2     NaN  1990.0 1990-11-19        NaT 1990-11-19  
3  2004.0  2004.0 2004-10-05        NaT 2004-10-05  
4  2001.0  2001.0 2001-11-02        NaT 2001-11-02
...