Как сгенерировать фрейм данных из списка из n словарей, сгенерированных за n итераций цикла?

Question

Я сгенерировал список словарей, повторяя функцию n раз. Поэтому в результате для d у меня n словари различаются. Это d:

 d = {'Insumos' : ["%s" % frame['DESCRIÇÃO'].unique()], 'Valor previsto' : ['%.2f' % y_pred_fut],
                      'MAPE' : [ '%.2f' % mean_absolute_percentage_error(y_mat_val, y_pred)], 
                      'MAE' : ['%.2f' %mean_absolute_error(y_mat_val, y_pred)], 'r2' : ['%.2f' %  r2_score(y_mat_val, y_pred)]}

И это результат для n определенной итерации d:

{'Insumos': ["['ABUTILOM (ABUTILON STRIATUM)']"], 'Valor previsto': ['30.56'], 'MAPE': ['5.59'], 'MAE': ['1.60'], 'r2': ['-16.70']}
{'Insumos': ["['ACALIFA (ACALYPHA WILKESIANA)']"], 'Valor previsto': ['31.22'], 'MAPE': ['3.24'], 'MAE': ['0.96'], 'r2': ['-2.24']}
{'Insumos': ['[\'ACIONADOR MANUAL TIPO "QUEBRE O VIDRO"\']'], 'Valor previsto': ['72.52'], 'MAPE': ['4.76'], 'MAE': ['3.21'], 'r2': ['-17.48']}
{'Insumos': ["['ADUBO QUÍMICO NPK, 10:10:10']"], 'Valor previsto': ['2.71'], 'MAPE': ['5.02'], 'MAE': ['0.12'], 'r2': ['0.41']}

Если я применю pd.DataFrame.from_records(d), я получу n отдельные кадры данных, как показано ниже:

0  ['ABUTILOM (ABUTILON STRIATUM)']  1.60  5.59          30.56  -16.70
                             Insumos   MAE  MAPE Valor previsto     r2
0  ['ACALIFA (ACALYPHA WILKESIANA)']  0.96  3.24          31.22  -2.24
                                      Insumos   ...        r2
0  ['ACIONADOR MANUAL TIPO "QUEBRE O VIDRO"']   ...    -17.48

[1 rows x 5 columns]
                           Insumos   MAE  MAPE Valor previsto    r2
0  ['ADUBO QUÍMICO NPK, 10:10:10']  0.12  5.02           2.71  0.41
                               Insumos   MAE  MAPE Valor previsto     r2
0  ['ALAMANDA (ALLAMANDA NERIIFOLIA)']  2.13  7.03          32.93  -8.51
                                             Insumos  ...       r2
0  ['ALVENARIA DE EMBASAMENTO - TIJOLOS MACIÇOS C...  ...    -1.83

[1 rows x 5 columns]
.
.
.

Я хочу получить все n отдельные словари, полученные в результате n итераций d, и создать уникальный фрейм данных.

Спасибо!

Answer 1

Когда вы вводите один d в pd.DataFrame, он может создать DataFrame только с этой одной строкой. Вам нужно объединить d значения. Самый простой (но не самый эффективный) способ - создать list и добавить в него каждый вычисленный d с append(d), например

d_list = []
for some_data in some_data_source:
    d = get_d(some_data)
    d_list.append(d)

df = pd.DataFrame(d_list)

Список диктов создаст DataFrame, как вы хотите.

P.S. И непонятно, почему вы используете одно значение в слове, как здесь

'MAPE' : [ '%.2f' % mean_absolute_percentage_error(y_mat_val, y_pred)]

Было бы трудно манипулировать позже. Отдельное значение лучше хранить как есть

'MAPE' : '%.2f' % mean_absolute_percentage_error(y_mat_val, y_pred)

И если вы хотите сделать некоторые вычисления в DataFrame, вам лучше не преобразовывать значение в строку, а сохранять значение. Вы можете преобразовать в строку позже

'MAPE' : mean_absolute_percentage_error(y_mat_val, y_pred)

Answer 2

Вам нужно использовать from_dict вместо from_records, если у вас есть словарь.

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.from_dict.html

Если у вас есть несколько входных словарей, поместите ваши словари в список:

d = [
    {'Insumos': ["['ABUTILOM (ABUTILON STRIATUM)']"], 'Valor previsto': ['30.56'], 'MAPE': ['5.59'], 'MAE': ['1.60'], 'r2': ['-16.70']},
    {'Insumos': ["['ACALIFA (ACALYPHA WILKESIANA)']"], 'Valor previsto': ['31.22'], 'MAPE': ['3.24'], 'MAE': ['0.96'], 'r2': ['-2.24']},
    {'Insumos': ['[\'ACIONADOR MANUAL TIPO "QUEBRE O VIDRO"\']'], 'Valor previsto': ['72.52'], 'MAPE': ['4.76'], 'MAE': ['3.21'], 'r2': ['-17.48']},
    {'Insumos': ["['ADUBO QUÍMICO NPK, 10:10:10']"], 'Valor previsto': ['2.71'], 'MAPE': ['5.02'], 'MAE': ['0.12'], 'r2': ['0.41']},
]

Тогда я думаю, что это должно работать так, как вы намереваетесь.

>>>>pd.DataFrame.from_records(d)
                                        Insumos     MAE    MAPE  \
 0            [['ABUTILOM (ABUTILON STRIATUM)']]  [1.60]  [5.59]
 1           [['ACALIFA (ACALYPHA WILKESIANA)']]  [0.96]  [3.24]
 2  [['ACIONADOR MANUAL TIPO "QUEBRE O VIDRO"']]  [3.21]  [4.76]
 3             [['ADUBO QU?MICO NPK, 10:10:10']]  [0.12]  [5.02]

  Valor previsto        r2
0        [30.56]  [-16.70]
1        [31.22]   [-2.24]
2        [72.52]  [-17.48]
3         [2.71]    [0.41]