В настоящее время я использую pickle для сохранения больших данных, которые содержат множество numpy матриц размером 10k * 10k. Несмотря на то, что я использую несколько похожих (отдельных) файлов python, при сохранении данных размер сохраненного файла данных всегда равен 4 ГБ. Итак, это просто совпадение или он не может сэкономить больше, чем эта сумма?
Кроме того, когда я загружаю данные, он использует более 90% памяти, что мне не полезно. Я слышал о cpickle и joblib, вот их сравнение: Каковы различные варианты использования joblib и pickle?
Я хотел бы уменьшить использование памяти. Должен ли я перейти на JobLib? Какой самый быстрый способ?
Спасибо за любые предложения.
ps Я использую Python 3.8 в Ubuntu 20.04 с Spyder IDE.