Самый быстрый способ вставить данные (5000 строк) в dataframe в python - PullRequest
0 голосов
/ 11 мая 2019

У меня есть 5000 точек данных json, которые я перебираю и храню в данных.
Сначала я добавляю данные в список серий, а затем добавляю их в фрейм данных, используя следующий код

1. (5000 times)pd.Series([trading_symbol, instrument_token], index=stock_instrument_token_df.columns)

тогда:

2. (once) stock_instrument_token_df.append(listOfSeries, ignore_index=True)

время выполнения 1 составляет около 700-800 мс, а 2 - около 200-300 мс
В общем, этот процесс занимает около 1 секунды

Перед этим я перебираю еще один набор из 50 000 точек данных json и добавляю их в python dict. Это занимает около 300 мс

Есть ли более быстрый способ вставки в фрейм данных.
Что-то не так, когда я зацикливаюсь на данных или вставляю их во фрейм данных?
Есть ли более быстрый способ выполнить работу в фрейме данных?

Заполните код согласно запросу, если это поможет

stock_instrument_token_df = pd.DataFrame(columns=['first', 'second'])
            listOfSeries = []
            for data in api_response:
                trading_symbol = data[Constants.tradingsymbol]
                instrument_token = data[Constants.instrument_token]
                listOfSeries.append(
                    pd.Series([trading_symbol, instrument_token], index=stock_instrument_token_df.columns))
            stock_instrument_token_df = stock_instrument_token_df.append(listOfSeries, ignore_index=True)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...