Чтение сложенного файла JSON с использованием Python

Question

У меня есть большой файл JSONS (4,5 ГБ), который я не могу открыть сразу с помощью Python.Файл состоит из нескольких миллионов строк в формате JSON.Каждая строка представляет собой отдельный файл JSON в скобках, поэтому формат файла:

{JSON}
{JSON}
{JSON}
...

Я хотел бы иметь возможность читать файл построчно или как 200 первых строк, но все сразу, ноЯ не могу понять, как это сделать.Можно ли было прочитать файл построчно, а затем поместить нужные части отдельных JSON в информационный кадр?Или датафрейм будет слишком большим для обработки?

Заранее спасибо!

Answer 1

Вы можете прочитать одну строку из файла, используя метод file.readline () .

Желаемые части JSON могут быть сохранены в памяти, но убедитесь, что размер ограничен, а затемсбросить данные в другой файл или базу данных

Answer 2

Если вы открываете файл обычным способом чтения файлов на python, вы читаете его построчно.Так что вы можете сделать это

with open('big.json', 'r') as f:
    for line in f:
        #select stuff