3 фрейма данных и 3 действующих правила для вставки данных в другой фрейм данных - нет общих столбцов - большие данные

Question

У меня есть 3 различных фрейма данных, которые могут быть сгенерированы с использованием приведенного ниже кода

data_file= pd.DataFrame({'person_id':[1,2,3],'gender': ['Male','Female','Not disclosed'],'ethnicity': ['Chinese','Indian','European'],'Marital_status': ['Single','Married','Widowed'],'Smoke_status':['Yes','No','No']})
map_file= pd.DataFrame({'gender': ['1.Male','2. Female','3. Not disclosed'],'ethnicity': ['1.Chinese','2. Indian','3.European'],
              'Marital_status':['1.Single','2. Married','3 Widowed'],'Smoke_status':['1. Yes','2. No',np.nan]})
hash_file = pd.DataFrame({'keys':['gender','ethnicity','Marital_status','Smoke_status','Yes','No','Male','Female','Single','Married','Widowed','Chinese','Indian','European'],'values':[21,22,23,24,125,126,127,128,129,130,131,141,142,0]})

И еще один пустой фрейм данных, в который должен быть заполнен вывод, может быть сгенерирован с использованием кода ниже

columns = ['person_id','obsid','valuenum','valuestring','valueid']
obs = pd.DataFrame(columns=columns)

То, чего я пытаюсь достичь, показано в таблице, где вы можете увидеть правила и описание порядка заполнения данных

Я пробовал использовать метод for loop loop, но как только я его разложил, я теряю имена столбцов и не уверен, что мне делать дальше.

a=1
for i in range(len(data_file)):
   df_temp = data_file[i:a]
   a=a+1
   df_temp=df_temp.unstack()
   df_temp = df_temp.to_frame().reset_index()

Как получить заполненный выходной кадр данных, как показано ниже (ps: я показал только для столбцов person_id = 1 и 4), но в реальном времени у меня более 25 тыс. Человек и400 колонок на каждого человека.Поэтому любой элегантный и эффективный подход полезен в отличие от моего цикла for.

Answer 1

После чата и удаления дубликатов данных возможно использование:

s = hash_file.set_index('VARIABLE')['concept_id']
df1 = map_file.melt().dropna(subset=['value'])
df1[['valueid','valuestring']] = df1.pop('value').str.extract('(\d+)\.(.+)')
df1['valuestring'] = df1['valuestring'].str.strip()

columns = ['studyid','obsid','valuenum','valuestring','valueid']
obs = data_file.melt('studyid', value_name='valuestring').sort_values('studyid')

#merge by 2 columns variable, valuestring
obs = (obs.merge(df1, on=['variable','valuestring'], how='left')
          .rename(columns={'valueid':'valuenum'}))
obs['obsid'] = obs['variable'].map(s)
obs['valueid'] = obs['valuestring'].map(s)

#map by only one column variable
s1 = df1.drop_duplicates('variable').set_index('variable')['valueid']
obs['valuenum_new'] = obs['variable'].map(s1)

obs = obs.reindex(columns + ['valuenum_new'], axis=1)
print (obs)

#compare number of non missing rows
print (len(obs.dropna(subset=['valuenum'])))
print (len(obs.dropna(subset=['valuenum_new'])))

Answer 2

Вот альтернативный подход с использованием DataFrame.melt и Series.map:

# Solution for pandas V 0.24.0 +

columns = ['person_id','obsid','valuenum','valuestring','valueid']

# Create map Series
hash_map = hash_file.set_index('keys')['values']
value_map = map_file.stack().str.split('\.\s?', expand=True).set_index(1, append=True).droplevel(0)[0]

# Melt and add mapped columns
obs = data_file.melt(id_vars=['person_id'], value_name='valuestring')
obs['obsid'] = obs.variable.map(hash_map)
obs['valueid'] = obs.valuestring.map(hash_map).astype('Int64')
obs['valuenum'] = obs[['variable', 'valuestring']].apply(tuple, axis=1).map(value_map)

# Reindex and sort for desired output
obs.reindex(columns=columns).sort_values('person_id')

[out]

    person_id  obsid valuenum    valuestring  valueid
0           1     21        1           Male      127
3           1     22        1        Chinese      141
6           1     23        1         Single      129
9           1     24        1            Yes      125
1           2     21        2         Female      128
4           2     22        2         Indian      142
7           2     23        2        Married      130
10          2     24        2             No      126
2           3     21        3  Not disclosed      NaN
5           3     22        3       European        0
8           3     23        3        Widowed      131
11          3     24        2             No      126