Загружать большие файлы в память (постоянно) - PullRequest
Новая
       27

Загружать большие файлы в память (постоянно)

0 голосов
/ 23 апреля 2020

У меня есть огромный словарь, который весит около 5 ГБ, и я хотел бы сохранить его в памяти для быстрого доступа позже.
Я в порядке с тем, что он потребляет ОЗУ в течение этого времени, чтобы ускорить время чтения.
Общая схема, которую я ищу, это 

script1.py

with open("some_really_big_file", 'rb') as handle:
    a = pickle.load(handle) --->Will take ~2 minutes

physical_memory_address = store_to_persistent_memory(a)

with open('memory_path', 'wb') as handle:
    pickle.dump(physical_memory_address , handle)

script2.py

with open("memory_path", 'rb') as handle:
    mem_path = pickle.load(handle)

dict = load_persistent_memory(mem_path ) ---> Really fast
...