Я пытаюсь очистить этот URL-адрес, который возвращает файл JSON.
В моем браузере страница загружается менее чем за секунду, но при использовании запросов это занимает около 10 секунд. Любые предложения о том, почему это занимает так много времени и как это изменить?
import requests
from bs4 import BeautifulSoup
import json
import pandas as pd
URL = 'https://www.lowes.com/IntegrationServices/resources/storeLocator/json/v2_0/stores?langId=-1&storeId=10702&catalogId=10051&place=10001&count=25'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}
page = requests.get(URL, headers=headers )
soup = BeautifulSoup(page.content, 'html.parser')
site_json = json.loads(soup.text)
df = pd.DataFrame.from_dict(site_json)
first_row = pd.Series(df.iloc[0]['Location'])
print(first_row)
(Я также знаю, что я, вероятно, делаю дополнительные шаги при преобразовании его в базу данных, я привык очищать его от HTML ... и это все еще работает)