Сохранение json для цикла

Question

Какой лаконичный был сохранить для l oop в формате json? Спасибо за вашу помощь.

import requests
import json

results = []

for i in range(1,143):
    res = requests.get("https://www.bhhs.com/bin/bhhs/officeSearchServlet?PageSize=10&Sort=1&Page={}&office_country=US".format(i))
    results.append(res.json())

# What goes next? Thank you!

Answer 1

Теперь ваша работа стала намного проще. Веб-сайт использует javascript для получения этой информации.

Приведенный ниже анализирует все 141 страницу.

import requests, json

results = []

for i in range(1,142):
    res = requests.get("https://www.bhhs.com/bin/bhhs/officeSearchServlet?PageSize=10&Sort=1&Page={}&office_country=US".format(i))
    results.append(res.json())

with open("result.json", "w") as f:
    json.dump(results, f)

Выполнение всех запросов одновременно может привести к сбою некоторых запросов. Следовательно, я рекомендую сканировать страницы группами и сохранять данные, такие как страницы с 1 по 10, сохранять данные, следующие 10-20, сохранять данные и т. Д. c ... Затем вы можете объединить все извлеченные результаты