Python - Использование cPickle для загрузки ранее сохраненного рассола использует слишком много памяти?

Question

Python - Использование cPickle для загрузки ранее сохраненного рассола использует слишком много памяти?

Мой файл pickle занимает около 340 МБ, но при загрузке занимает 29% от 6 ГБ памяти. Это кажется слишком много. Файл pickle - это словарь словарей. Это уместно?
Используемый код:

import cPickle as pickle

file = pickle.load( file_handle )

Спасибо

Answer 1

У меня всегда были проблемы с памятью с большими пикелами и субдиктами.Итак, я закончил записывать свои объекты через pprint в файлы, а затем импортирую эти файлы через пользовательский загрузчик модулей, чтобы вернуть данные в область процесса.Работает нормально и не тратит память.

Answer 2

Около 1,7 ГБ кажется немного, но не невозможно. Сколько памяти заняли данные до того, как они были обработаны?

После распаковки данные должны занимать примерно столько же памяти, сколько потребовалось до того, как они были протравлены, насколько велик их размер в дисковом формате, не так уж и важно.