MemoryError: Невозможно выделить 384. МБ для массива с формой (1, 50334203) и типом данных float64 - PullRequest
Новая
       54

MemoryError: Невозможно выделить 384. МБ для массива с формой (1, 50334203) и типом данных float64

0 голосов
/ 29 апреля 2020

У меня есть файлы рыночных данных в папке. Я хочу создать мастер-файл из всех значений одного указанного столбца c («Prev Close») из всех файлов. Я хотел бы объединить их в отдельный столбец, изменив имя столбца Prev Close на название компании. Я могу успешно запустить код для 5 лет данных. Однако за 10 лет данных я получаю ошибку выделения памяти. Есть ли более оптимизированный способ сделать это? def compile_data (): main_df = pd.DataFrame ()
для i в диапазоне (102): df = pd.read_csv ('stock_dfs / {}. csv'.format (символы [i])) # df.drop (['Series', 'Open', 'High', 'Low', 'Last', 'Close', 'VWAP', 'Turnover', 'Volume', 'Trades', 'Deliverrable Volume', '% Deliverble '], 1, inplace = True) df.set_index (' Date ', inplace = True) df = df [[' Prev Close ']] df.rename (columns = {' Prev Close ': символы [i]}, на месте = True) 

    if main_df.empty:
        main_df = df
    else:
        main_df = main_df.join(df,how='left')
    print(i)

print(main_df.head())
main_df.to_csv('nifty100_joined_closes.csv')
...