У меня есть словарь из 21 фрейма данных (называемого paramdi c), в каждом из которых есть два столбца («ID», а затем уникальное что-то еще) и около 12 000 строк. Я пытаюсь объединить их все вместе, чтобы создать один df, который составляет около 12000 строк и 22 столбца, идентификатор, а затем все что-то еще (a, b, c, et c). Все идентификаторы уникальны, хотя не каждый фрейм данных имеет данный идентификатор, перекрытие довольно хорошее. Я делаю это:
df_merged = reduce(lambda left,right: pd.merge(left,right,on=['ID'],
how='outer'), paramdic.values())
Но это дает мне фрейм данных с 22 столбцами и более 76 миллионов строк. Если я сделаю это только с подмножеством данных (скажем, 2500 строк и 21 фрейм данных), он будет работать, как ожидалось. Что я делаю не так?