Как заставить Python 3,7 использовать более 2 ГБ памяти? (Настройка 64 бита)

Question

Немного обыскав (например, здесь , здесь и здесь ), я в растерянности. Как заставить Python 3,7 использовать более 2 ГБ памяти?

Информация о моей настройке: Я использую 64-битный PyCharm (2019.2. 6) с 64-битным Python 3.7.5, и я установил мои -Xms=8g и -Xmx=16g в pycharm.vmoptions (как этот предлагает установить Xms равным половине Xms). Это работает на macOS Catalina 10.15.3, на машине с оперативной памятью 40 ГБ (2 * 4 + 2 * 32).

Что я пытаюсь сделать, и почему я хочу увеличить использование памяти: Я читаю относительно большие временные ряды (200-400 столбцов, около 70 000 строк) в Pandas (v. 0.25.3) фреймы данных из .txt-файлов (размер файла варьируется от 0,5 ГБ до 1,5 ГБ) и работает с 10-15 этими файлами одновременно. Когда я читаю в файлах, я вижу, как процесс python3 .7 увеличивает объем памяти примерно до 2 ГБ (иногда до 2,05 ГБ), а затем использование памяти уменьшается до нескольких сотен МБ и увеличивается до 2 ГБ снова (и повторить).

Когда я работаю с этими временными сериями [нарезка, построение графиков и т. Д. c.], Все занимает относительно много времени (несколько минут). Я надеюсь, что это может быть улучшено за счет увеличения использования памяти. Однако, если я ошибаюсь, полагая, что увеличение использования ОЗУ в процессе python повысит производительность, пожалуйста, сообщите мне

Answer 1

Благодарю за множество полезных комментариев (гекконы, jammin0921, Оскар Лопес и Переполнение кучи), похоже, что я наблюдал, что не ограничение Python, а скорее то, что очевидно умные данные- управление с помощью Python / Pandas означало, что после считывания 12 ГБ .txt-файлов в DataFrames их общий размер фактически становился меньше 2 ГБ, если посмотреть на использование памяти в фрейме данных (df): df.memory_usage(True, True).sum(), что дал 1,9 ГБ

Пытаясь манипулировать этим путем дальнейшего увеличения размера данных, которые я читаю, я вижу использование ОЗУ выше 2 ГБ из процесса python3 .7 .