вычислить значение столбца для строки, когда данные из той же строки добавляются в другой столбец

Question

У меня есть большой фрейм данных панд в Python.У меня есть семь столбцов необработанных данных, которые обновляются все сразу на периодической основе, и мне нужно обновлять значения в новых строках 84 других столбцов каждый раз, когда новые данные добавляются в нижнюю часть столбцов 1-7.Я хотел бы сделать это без необходимости пересчитать все значения всех 84 других столбцов.так как в этих столбцах миллионы строк.

Answer 1

После выполнения первого вычисления на основном фрейме данных попробуйте выполнить расчет для новых данных отдельно, а затем объединить их в конце (при условии, что оба имеют одинаковые столбцы перед объединением).

import pandas as pd

columns = ['c1','c2','c3','c4','c5','c6','c7']

main = pd.read_csv('file.csv', names=columns)
# ... do your calculation

new = pd.read_csv('new_file.csv', names=columns)
# ... do your calculation

all = pd.concat([main, new])

# if you need to reset the index, use the following line instead:
# all = pd.concat([main, new], ignore_index=True)