IJson.items () загружает весь файл JSON в память перед итерацией?

Question

Я недавно начал использовать iJson для итеративной передачи моих данных JSON. Я буду работать с ОГРОМНЫМИ файлами JSON (100+ ГБ).

Документы для iJson довольно ограничены и не содержат большого упоминания, поэтому они мало помогли мне ответить на мой вопрос.

Загружает ли iJson.items () весь файл JSON в память при вызове?

list = ijson.items(in_file)
# Does this load the entire contents of in_file to memory?

Answer 1

Нет, это не так.Загрузка всего сразу уничтожила бы всю точку ijson, то есть не делать этого.Вы можете взглянуть на source для различных бэкэндов ( pure-Python backend по умолчанию), если хотите подтвердить это.