Я пытаюсь получить доступ к своим «спискам» на costco.com, и когда я запускаю красивый суп, мне кажется, что я возвращаюсь на домашнюю страницу для costco вместо ссылки, на которую он был направлен для моего списка. Любые идеи о том, как заставить его открывать список вместо домашней страницы?
import csv
import requests
import urllib.request
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36',
}
with requests.Session() as s:
url = "https://www.costco.com/ListDetailView?listId=11493710&storeId=10301&catalogId=10701&langId=-1&fromPage=NonAjaxAccountListDisplayView"
r = s.get(url, headers=headers)
product_table = browser.page_source
soup = BeautifulSoup(product_table,'html.parser')
print(soup)