У меня большой файл json (2,4 ГБ). Я хочу разобрать это в Python. Данные выглядят следующим образом:
[
{
"host": "a.com",
"ip": "1.2.2.3",
"port": 8
},
{
"host": "b.com",
"ip": "2.5.0.4",
"port": 3
},
{
"host": "c.com",
"ip": "9.17.6.7",
"port": 4
}
]
Я запускаю этот скрипт на python parser.py для загрузки данных для разбора ::
import json
from pprint import pprint
with open('mydata.json') as f:
data = json.load(f)
Ранее я сделал этот пост о том же коде. Я пытаюсь запустить код с большим объемом оперативной памяти. но я получил другую ошибку. Не могли бы вы помочь мне определить источник проблемы?
Traceback (последний вызов был последним): файл "parser.py", строка 6, в
data = json.load (f) Файл "/usr/lib/python3.6/json/init.py", строка 299, в загрузке
parse_constant = parse_constant, object_pairs_hook = object_pairs_hook, ** кВт) Файл
«/usr/lib/python3.6/json/init.py», строка 354, в нагрузках
вернуть файл _default_decoder.decode (s) "/usr/lib/python3.6/json/decoder.py", строка 339, в декодировании
obj, end = self.raw_decode (s, idx = _w (s, 0) .end ()) файл "/usr/lib/python3.6/json/decoder.py", строка 355, в raw_decode
obj, end = self.scan_once (s, idx) json.decoder.JSONDecodeError: Ожидается разделитель ',': строка 1095583, столбец 749 (символ 56649111)
Существует похожая проблема в этом сообщении, но я не мог использовать решение, когда я читал свой массив json из файла. Не знаете, как применить решение в этом случае?