Могу ли я постепенно создать файл с помощью mmap? - PullRequest
Новая
       29

Могу ли я постепенно создать файл с помощью mmap?

0 голосов
/ 24 мая 2018

Я новичок в питоне.Я пытаюсь построить локальную БД для огромных данных с помощью mmap.Данные записываются как: 

import os
import mmap
import cPickle as pickle
import operator
from functools32 import lru_cache
with open(path + '.data', 'wb') as f:
    index = []
    for key, value in iter_kvs:
        index.append((key, f.tell()))
        mmdict.serialise(value, f)
with open(path + '.index','wb') as f:
    mmdict.serialise(index, f)

Проблема заключается в том, что моя машина не может завершить процесс всего набора данных и сохранить его одновременно.Что я хотел бы знать, например, если в одном прогоне слово cat использовалось в качестве индекса и значение было 10, а в следующем прогоне в другом разделе данных cat снова было найдено со значением15, будет ли обновлен первый индекс?или будет добавлен новый индекс?

Я буду рад обновить вопрос, чтобы предоставить дополнительную информацию, если потребуется.

Заранее спасибо.

...