Как читать большой CSV с пандами? - PullRequest
Новая
       12

Как читать большой CSV с пандами?

2 голосов
/ 31 марта 2019

Я загружаю файл rdx (csv -подобный формат) размером около 16 ГБ в виде кадра данных pandas, а затем сокращаю его, удаляя некоторые строки. Вот код: 

import pandas as pd

t_min, t_max, n_min, n_max, c_min, c_max = raw_input('t_min, t_max, n_min, n_max, c_min, c_max: ').split(' ')

data=pd.read_csv('/Users/me/Desktop/foo.rdx',header=None)

new_data=data.loc[(data[0] >= float(t_min)) & (data[0] <= float(t_max)) & (data[1] >= float(n_min)) & (data[1] <= float(n_max)) & (data[2] >= float(c_min)) & (data[2] <= float(c_max))]

Этот код работает для небольших файлов (~ 5 ГБ), но, похоже, он не может загрузить файл такого размера. Есть ли обходной путь к этому? Или, может быть, способ сделать это с помощью bash-скрипта?

Любая помощь или предложение с благодарностью.

1 Ответ

3 голосов
/ 31 марта 2019

Попробуйте использовать параметр chunksize, фильтруйте по частям, а затем concat

t_min, t_max, n_min, n_max, c_min, c_max = map(float, raw_input('t_min, t_max, n_min, n_max, c_min, c_max: ').split())

num_of_rows = 1024
TextFileReader = pd.read_csv(path, header=None, chunksize=num_of_rows)

dfs = []
for chunk_df in TextFileReader:
    dfs.append(chunk_df.loc[(chunk_df[0] >= t_min) & (chunk_df[0] <= t_max) & (chunk_df[1] >= n_min) & (chunk_df[1] <= n_max) & (chunk_df[2] >= c_min) & (chunk_df[2] <= c_max)])

df = pd.concat(dfs,sort=False)
...