Я использую цикл for для доступа к сгруппированным элементам, выполнения некоторых вычислений, сохранения и повторения. Пример кода ниже. Я имею дело с действительно большим набором данных или заказом 1000000 x 4. Как мне сделать это более эффективным?
Grouped_Data = DF.groupby([DF['Column_1']])
New_DF = pd.DataFrame()
for key,item in Grouped_Data:
filtered = item[['Column_2','Column_3','Column_4']]
# Perform some Arithmetic and Algebraic calculations like regression fitting
# etc on filtered data using Numpy library, save variables to DF_iterate
# and repeat
Df_Iterate = pd.DataFrame()
New_DF = pd.concat([New_DF, Df_Iterate])