Есть ли способ импортировать только определенные объекты с веб-сайта JSON в Python?

Question

Я работаю над проектом, и мне нужно импортировать около 200 БОЛЬШИХ списков с разных URL-адресов. Это занимает около 3 секунд для каждого, и я не могу ждать так долго, пока программа завершит sh. Но на веб-сайте есть только два объекта для каждого, который мне нужен, поэтому мне интересно, есть ли способ импортировать ТОЛЬКО эти два объекта вместо всего JSON из каждого URL-адреса.

Answer 1

Во-первых, загрузка документов требует времени или их анализ в Python, когда они у вас есть? Лучше измерить. Если он загружается, вы мало что можете сделать, если исходные API не предоставляют способ запрашивать только часть документов.

Если синтаксический анализ является узким местом, вам все равно придется анализировать часть JSON do c без разбора), но вы можете попробовать перейти к парсеру, отличному от Python, только для этой части задачи, например, вызвав командную строку jq через подпроцесс .