Сделал динамический c веб-скреб, но он не может открыть файл? - PullRequest
Новая
       2

Сделал динамический c веб-скреб, но он не может открыть файл?

0 голосов
/ 19 июня 2020

мой код работал нормально, пока я не внес некоторые изменения в переменную контейнера, что, насколько мне известно, не должно было иметь никакого значения, но теперь, когда я выполняю свой код, он ничего не выводит на консоль, и программа работает бесконечно, пока я не закрою принудительно. Я пробовал использовать точки останова, и мне кажется, что компьютер не может открыть файл. Может кто уточнить пожалуйста. 

from bs4 import BeautifulSoup as bs



query = input("What do you want to search for?\n")

file = open("_query.csv", "w")
headers = " Name , Price($) , Shipping \n"
file.write(headers)



for i in range(1,100):
    myurl = f"https://www.newegg.com/p/pl?d={query}&Page={i}"
    opened = urlopen(myurl)
    page = opened.read()
    opened.close()
    soup = bs(page, "html.parser")
    containers = soup.findAll("div", {"class": "items-view is-grid"})


    for container in containers:
        namecontainer = container.findAll("a", {"class": "item-title"})
        name = namecontainer[0].text

        pricecontainer = container.findAll("li", {"class": "price-current"})
        price = pricecontainer[0].strong.text.strip() + pricecontainer[0].sup.text.strip()

        shipcontainer = container.findAll("li", {"class": "price-ship"})
        shipping = shipcontainer[0].text.strip()


        print("name: " + name)
        print("price : " + price)
        print("shipping: " + shipping + "\n")


        file.write(name.replace(",","|") + "," + price.replace(",",".") + "," + shipping.replace(",",".") + "\n")```
...