У меня есть 5000 точек данных json, которые я перебираю и храню в данных.
Сначала я добавляю данные в список серий, а затем добавляю их в фрейм данных, используя следующий код
1. (5000 times)pd.Series([trading_symbol, instrument_token], index=stock_instrument_token_df.columns)
тогда:
2. (once) stock_instrument_token_df.append(listOfSeries, ignore_index=True)
время выполнения 1 составляет около 700-800 мс, а 2 - около 200-300 мс
В общем, этот процесс занимает около 1 секунды
Перед этим я перебираю еще один набор из 50 000 точек данных json и добавляю их в python dict. Это занимает около 300 мс
Есть ли более быстрый способ вставки в фрейм данных.
Что-то не так, когда я зацикливаюсь на данных или вставляю их во фрейм данных?
Есть ли более быстрый способ выполнить работу в фрейме данных?
Заполните код согласно запросу, если это поможет
stock_instrument_token_df = pd.DataFrame(columns=['first', 'second'])
listOfSeries = []
for data in api_response:
trading_symbol = data[Constants.tradingsymbol]
instrument_token = data[Constants.instrument_token]
listOfSeries.append(
pd.Series([trading_symbol, instrument_token], index=stock_instrument_token_df.columns))
stock_instrument_token_df = stock_instrument_token_df.append(listOfSeries, ignore_index=True)