Да, об этом спрашивали семь лет go, но «ответы» на мой взгляд не помогли. Так много открытых данных использует JSON, поэтому я прошу об этом еще раз, чтобы увидеть, доступны ли какие-либо более эффективные методы. Я загружаю файл размером 28 МБ JSON (с 7000 строк), а объем памяти, используемый для json .loads, превышает 300 МБ.
Этот оператор выполняется неоднократно: data_2_item = json.loads(data_1_item)
и пожирает память на время работы программы. Я пробовал различные другие заявления, такие как pd.read_json(in_file_name, lines=True)
с теми же результатами. Я также пробовал простые json и быстрые json альтернативные пакеты.