Прочитайте список файлов JSON в пандах - PullRequest
0 голосов
/ 10 января 2019

Возможно ли в рамках pandas кратко читать кучу плоских json-файлов в хороший фрейм данных? В настоящее время я делаю это:

import pandas as pd
import json, glob

F_JSON = glob.glob("data/*.json")

data = []
for f in F_JSON:
    with open(f) as FIN:
        item = json.load(FIN)
    data.append(item)
df = pd.DataFrame(data)

Я хотел бы заменить последние шесть строк на что-то вроде этого:

df = pd.DataFrame([json.load(open(f)) for f in F_JSON])

Что работает, но я боюсь, что я могу создавать слишком много открытых файлов. Я посмотрел на pd.read_json, но не могу заставить его работать правильно в моем случае.

Каждый из файлов имеет формат, который выглядит следующим образом:

{
  "year": 2001,
  "value1": 14.33,
  "value2": 546405.82,
  "value3": 429837,
}
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...