У меня есть крупномасштабный скребок, где каждый раз, когда он просматривает веб-сайт, он перезаписывает и выгружает json в файл на протяжении всего процесса и сохраняет фактический json (как словарь) в памяти процесса (т.е. не загружается, а затем сбрасывает).
Вот некоторые ссылки на мой текущий подход:
records['records']['record'].append(record) # record is a large sub-json
with open(JSON_FILE, "w") as f:
json.dump(records, f, indent=4)
Мне хотелось узнать, что более эффективно по времени - загрузить файл json в процесс, затем изменить json и дамп в файл, или сделать то, что я сделал (т.е. сохранить json в память, поменять его, а потом перезаписать файл)?
Есть ли лучший способ сделать это?