пытался зайти с веб-сайта nikes для практики и сохранить данные в файле csv. Он отлично работает с сохранением данных в файл, но сохраняет только первые 24 обуви (название обуви, цена, цвета и т. Д. c), хотя на странице, которую я пытаюсь прочитать, более 50 моделей обуви. Обратите внимание, что изначально на странице отображается меньше обуви, но по мере прокрутки вниз она начинает показывать больше обуви, но даже вначале отображается чуть более 24 моделей обуви. это мой первый скребок и мой первый пост, так что извините, если что-то неясно, но помощь приветствуется. спасибо
from urllib.request import urlopen
mylink = "https://www.nike.com/w/mens-soccer-shoes-1gdj0znik1zy7ok"
opened = urlopen(mylink)
read = opened.read()
opened.close()
page = soup(read, "html.parser")
containers = page.findAll("div", {"class":"product-card__info"})
file = open("nike.csv" , "w")
headers = "Name , Type, Colors, Price \n"
file.write(headers)
for container in containers:
namecontainer = container.findAll("div", {"class": "product-card__title"})
name = namecontainer[0].text
typecontainer = container.findAll("div", {"class": "product-card__subtitle"})
type = typecontainer[0].text
colors = container.findAll("div", {"class": "product-card__count-wrapper"})
no_of_colors = colors[0].button.div.text
pricecontainer = container.findAll("div", {"data-test": "product-price"})
price = pricecontainer[0].text
print("name: " + name)
print("type: " + type)
print("colors: " + no_of_colors )
print("price : " + price + "\n")
file.write(name.replace(",","|") + "," + type.replace(",","|") + "," + no_of_colors + "," + price + "\n)```