У меня есть большой файл json (6GB)
, который содержит простую пару ключ и значение, например
{ "0546585b451000" : "5",
"0546585b451000111222" : "10"
}
. Я использую ijson
, чтобы проанализировать этот файл и выполнить некоторые операции с каждым объектом
Я хочу удалить каждый объект из самого файла json
после завершения итерации.
with open(SOURCE_JSON_FILE, 'r') as fd:
parser = ijson.parse(fd)
for prefix, event, value in parser:
if event == 'number':
print('prefix={}, event={}, value={}'.format(prefix, event, value))
## Delete this row from json file now
Мое намерение состоит в том, чтобы минимизировать размер фактического файла json
, чтобы в этом случае процесс прерывался между, я могу продолжить с оставшимися ключами.
Какой должен быть подход для достижения этого?кроме выгрузки готовых объектов в другой файл или базу данных.
помощь приветствуется