Как скачать и проанализировать JSON с помощью Python FAST - PullRequest
Новая
       13

Как скачать и проанализировать JSON с помощью Python FAST

0 голосов
/ 16 мая 2018

Я пытаюсь загрузить файл JSON с 

with urlopen(url_str) as url:
    return json.loads(url.read().decode())

и работает недопустимо медленно (в 10 и более раз медленнее, чем эквивалентный Java-код).

Есть ли способ выполнить эту операцию с нормальной скоростью?

UPDATE

Я написал так: 

def read_json_data(url_str: str):
    req = Request(url_str, headers={'Accept-encoding': 'gzip'})
    with urlopen(req) as resp:
        if resp.info().get('Content-Encoding') == 'gzip':
            with gzip.GzipFile(fileobj=resp) as fp:
                data = json.load(fp)
        else:
            data = json.load(resp)
        return data

Но получаю ошибку на json.load(fp): 

TypeError: the JSON object must be str, not 'bytes'

Почему? Разве json.load (без s) не принимает указатель файла?

1 Ответ

0 голосов
/ 16 мая 2018

urlopen поддерживает gzip, вы просто должны попросить об этом: 

import urllib.request
import gzip
import json

urlstr = "http://example.com/your-json-url"

req = urllib.request.Request(urlstr,
    headers={'Accept-encoding':'gzip'})

resp = urllib.request.urlopen(req)
if resp.info().get('Content-Encoding') == 'gzip':
    print("got gzip")
    data = json.load(gzip.GzipFile(resp))
else:
    print("no gzip")
    data = json.load(resp)
...