Python Pyppeter не может очистить RU - PullRequest
Новая
       34

Python Pyppeter не может очистить RU

0 голосов
/ 13 февраля 2020

Здравствуйте, добрый день, стекпопотоки в пипсах,

Проблема: стек и данные никогда не очищались в российском магазине, который в данном случае www.vseinstrumenti.ru

код: 

import asyncio
from pyppeteer import launch

class PyppeteerRequests:
    def __init__(self):
        self.headers = {}

    def get_url(self, url):
        data = None
        loop = asyncio.new_event_loop()
        asyncio.set_event_loop(loop)
        try:
            data = loop.run_until_complete(self.main(url))
            print(data)
        except Exception as e:
            print(str(e))

        return data

    async def main(self, url):
        browser = await launch(headless=True)
        page = await browser.newPage()
        await page.goto(url, options={'timeout':1000000, 'waitUntil':['load', 'networkidle2']}),
        loaded_html = await page.content()
        await page.waitForNavigation()

        print("closing context...")

        await asyncio.sleep(0.3)
        await page.close()
        await browser.close()
        print("closing browser...")
        await asyncio.sleep(0.3)
        return loaded_html



if __name__=="__main__":
    requester = PyppeteerRequests()

    url = 'https://www.vseinstrumenti.ru/ruchnoy-instrument/sadoviy-instrument-i-inventar/topory/fiskars/x11-s-1015640/'
    data = requester.get_url(url)
    print(data)

Он просто сложен и получает ОШИБКУ: Превышено время ожидания навигации: превышено 1000000 мс. Какую часть кода я должен изменить? Это соскоб на вашей стороне? Пожалуйста, дайте мне знать, как улучшить мой код, используя asnycio. Спасибо!

...