Я читаю довольно большой файл CSV, используя панд.
csvfile = pd.read_csv('static/somefile.csv', low_memory=False, chunksize=50)
Файлы хранятся в статической папке на Google Computer Engine.
Я получаю две ошибки:
1)
File "<frozen importlib._bootstrap>", line 182, in cb
File "/env/lib/python3.6/site-packages/gunicorn/workers/base.py", line 192, in handle_abort
2)
csvfile = pd.read_csv('static/somefile.csv', low_memory=False)
pandas.errors.ParserError: Error tokenizing data. C error: out of memory
Я увеличил память и процессор настолько сильно, насколько смог на Engine, так что я знаю, что это не так.
В ошибке (2) он игнорирует параметр 'chunksize'. Я не уверен, что это проблема с колбой?
Есть ли что-то уникальное для фляги, вам нужно прочитать CSV-файл с помощью панд?
* обратите внимание, что это в отдельном файле Python для основного приложения колбы