Удалить объект JSON после каждой итерации - PullRequest
0 голосов
/ 05 декабря 2018

У меня есть большой файл json (6GB), который содержит простую пару ключ и значение, например

 { "0546585b451000" : "5",
   "0546585b451000111222" : "10"
 }

. Я использую ijson, чтобы проанализировать этот файл и выполнить некоторые операции с каждым объектом

Я хочу удалить каждый объект из самого файла json после завершения итерации.

with open(SOURCE_JSON_FILE, 'r') as fd:
     parser = ijson.parse(fd)
     for prefix, event, value in parser:
         if event == 'number':
            print('prefix={}, event={}, value={}'.format(prefix, event, value))

         ## Delete this row from json file now  

Мое намерение состоит в том, чтобы минимизировать размер фактического файла json, чтобы в этом случае процесс прерывался между, я могу продолжить с оставшимися ключами.

Какой должен быть подход для достижения этого?кроме выгрузки готовых объектов в другой файл или базу данных.

помощь приветствуется

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...