Возможно ли в рамках pandas кратко читать кучу плоских json-файлов в хороший фрейм данных? В настоящее время я делаю это:
import pandas as pd
import json, glob
F_JSON = glob.glob("data/*.json")
data = []
for f in F_JSON:
with open(f) as FIN:
item = json.load(FIN)
data.append(item)
df = pd.DataFrame(data)
Я хотел бы заменить последние шесть строк на что-то вроде этого:
df = pd.DataFrame([json.load(open(f)) for f in F_JSON])
Что работает, но я боюсь, что я могу создавать слишком много открытых файлов. Я посмотрел на pd.read_json
, но не могу заставить его работать правильно в моем случае.
Каждый из файлов имеет формат, который выглядит следующим образом:
{
"year": 2001,
"value1": 14.33,
"value2": 546405.82,
"value3": 429837,
}