Я пытаюсь использовать пакет ijson в python вместо json.load, чтобы иметь возможность анализировать JSON файлы размером более 500 МБ.
Я использовал традиционный подход json.load для получения JSON файлов один за другим и выполнения некоторого анализа их, а затем отправки в мою базу данных при поиске elasti c. Очевидно, что при вводе файла размером более 500 Мб произошла ошибка памяти.
Из этого я искал решения, и наиболее распространенным было использование ijson. Когда я пытаюсь использовать ijson, я знаю, что он просто проходит через файл, не просматривая один объект за один раз, который я использовал в json.load. После процесса синтаксического анализа я создал один объект и отправил его в elasti c search по одному за раз. Есть ли способ сделать это, и если да, то как этого достичь при использовании ijson.